[論文レビュー] Dynamic programming for optimal control of stochastic McKean-Vlasov dynamics

Huyên Pham, Xiaoli Wei|arXiv (Cornell University)|Apr 14, 2016

Stochastic processes and financial applications参考文献 15被引用数 19

ひとこと要約

本稿は、共通ノイズを伴う確率的 McKean-Vlasov 方程式の最適制御に対する動的計画法の原則を確立し、Lionsの測度に基づく微分可能性を用いてハミルトニアン・ジャコビ・ベルマン（HJB）方程式を導出し、バナッハ空間における粘性解の一意性を証明する。線形二次制御問題を明示的に解き、共通ノイズを伴う銀行間貸し借りにおけるシステミックリスクモデルに応用する。

ABSTRACT

We study the optimal control of general stochastic McKean-Vlasov equation. Such problem is motivated originally from the asymptotic formulation of cooperative equilibrium for a large population of particles (players) in mean-field interaction under common noise. Our first main result is to state a dynamic programming principle for the value function in the Wasserstein space of probability measures, which is proved from a flow property of the conditional law of the controlled state process. Next, by relying on the notion of differentiability with respect to probability measures due to P.L. Lions [32], and It{ô}'s formula along a flow of conditional measures, we derive the dynamic programming Hamilton-Jacobi-Bellman equation, and prove the viscosity property together with a uniqueness result for the value function. Finally, we solve explicitly the linear-quadratic stochastic McKean-Vlasov control problem and give an application to an interbank systemic risk model with common noise.

研究の動機と目的

• 共通ノイズ下での確率的 McKean-Vlasov 動的の最適制御のための動的計画法フレームワークを構築すること。
• 条件付き分布の流れの性質を用いて、ウォッサーシュタイン空間における動的計画法の原則を確立すること。
• Lionsの微分法と条件付き測度上の伊藤の公式を用いて、価値関数の粘性解性および一意性を導出し、証明すること。
• 線形二次（LQ）確率的 McKean-Vlasov 制御問題を明示的に解くこと。
• 理論的結果を共通ノイズを伴う銀行間貸し借りにおけるシステミックリスクモデルに応用すること。

提案手法

• 制御された状態過程の条件付き分布の流れの性質を用いて、ウォッサーシュタイン空間における動的計画法の原則を導出する。
• 状態過程の分布に依存する性質を扱うために、Lionsの確率測度に関する微分可能性の概念を適用する。
• 条件付き測度の流れに沿った伊藤の公式を用いて、ハミルトニアン・ジャコビ・ベルマン（HJB）方程式を導出する。
• 価値関数が導出されたHJB方程式の粘性解であることを証明し、その一意性を確立する。
• 係数に関するリッカティ方程式系を導出することによって、線形二次（LQ）確率的 McKean-Vlasov 制御問題を明示的に解く。
• リッカティ方程式系の解を用いて、最適制御および状態過程の条件付き平均の明示的フィードバック形式を導出する。

実験結果

リサーチクエスチョン

• RQ1 ウォッサーシュタイン空間における確率的 McKean-Vlasov 動的の最適制御に対して、どのように動的計画法の原則を定式化できるか。
• RQ2 このような制御問題におけるハミルトニアン・ジャコビ・ベルマン方程式の構造は何か、そしてその粘性解性をどのように確立できるか。
• RQ3 このクラスの確率的制御問題において、価値関数が一意となる条件は何か。
• RQ4 共通ノイズを伴う線形二次（LQ）確率的 McKean-Vlasov 制御問題の明示的解は何か。
• RQ5 理論的枠組みを、共通ノイズを伴う銀行間貸し借りにおけるシステミックリスクモデルにどのように応用できるか。

主な発見

• 条件付き状態過程の分布の流れの性質を用いて、ウォッサーシュタイン空間における動的計画法の原則が厳密に確立された。
• 導出されたハミルトニアン・ジャコビ・ベルマン方程式の価値関数が、唯一の粘性解であることが証明された。
• 線形二次問題において、条件 $ q^2 \leq \eta $ の下でリッカティ方程式系 (5.16) が明示的に解かれ、正の $ \Lambda(t) $ が得られ、$ \Gamma(t), \gamma(t), \chi(t) $ の解の存在および一意性が保証された。
• 最適制御は、$ \alpha_t^*(X_t^*) = -(2\Lambda(t)+q)(X_t^* - \mathbb{E}[X_t^*|W^0]) - 2\Gamma(t)\mathbb{E}[X_t^*|W^0] - \gamma(t) $ としてフィードバック形式で与えられ、時間に依存する明示的係数を有する。
• 条件付き平均 $ \bar{X}_t^* = \mathbb{E}[X_t^*|W^0] $ は、SDE $ d\bar{X}_t^* = -(2\Gamma(t)\bar{X}_t^* + \gamma(t))dt + (\sigma_1\bar{X}_t^* + \sigma_0)\rho dW_t^0 $ を満たし、$ \sigma_1 = 0 $ の場合には $ \bar{X}_t^* = x_0 + \sigma_0\rho W_t^0 $ に簡略化される。
• 解は、$ N \to \infty $ の極限において [18] の結果を回復・一般化し、共通ノイズ下での既存の銀行間システミックリスクモデルと整合性を確認した。