[論文レビュー] Bellman equation and viscosity solutions for mean-field stochastic control problem

Huyên Pham, Xiaoli Wei|arXiv (Cornell University)|Dec 24, 2015

Stochastic processes and financial applications参考文献 16被引用数 18

ひとこと要約

この論文は、状態と制御の連合分布に依存する係数をもつ平均場ストキャスティック制御問題に対して、動的計画法の原則を確立し、ベルマン方程式を導出する。リオンズの確率測度に関する微分法と、測度フローのための新規イトウの公式を用いて、粘性解の存在および一意性を証明し、正則性条件下でオープンループ制御とフィードバック制御の価値関数が等価であることを示す。線形二次の問題に対しては明示的解が得られる。

ABSTRACT

We consider the stochastic optimal control problem of McKean-Vlasov stochastic differential equation where the coefficients may depend upon the joint law of the state and control. By using feedback controls, we reformulate the problem into a deterministic control problem with only the marginal distribution of the process as controlled state variable, and prove that dynamic programming principle holds in its general form. Then, by relying on the notion of differentiability with respect to pro\-bability measures recently introduced by P.L. Lions in [32], and a special It{ô} formula for flows of probability measures, we derive the (dynamic programming) Bellman equation for mean-field stochastic control problem, and prove a veri\-fication theorem in our McKean-Vlasov framework. We give explicit solutions to the Bellman equation for the linear quadratic mean-field control problem, with applications to the mean-variance portfolio selection and a systemic risk model. We also consider a notion of lifted visc-sity solutions for the Bellman equation, and show the viscosity property and uniqueness of the value function to the McKean-Vlasov control problem. Finally, we consider the case of McKean-Vlasov control problem with open-loop controls and discuss the associated dynamic programming equation that we compare with the case of closed-loop controls.

研究の動機と目的

• 状態と制御の連合分布に依存する係数をもつ平均場ストキャスティック制御問題における動的計画法の原則を確立すること。
• リオンズの測度に関する微分の概念を用いて、ウォッサーシュタイン空間における確率測度の空間でベルマン方程式を導出すること。
• McKean-Vlasov 制御問題の価値関数の粘性性および一意性を証明すること。
• オープンループ制御とフィードバック制御の価値関数を比較し、正則性条件下で等価であることを示すこと。
• 線形二次の平均場制御問題に対して明示的解を提供し、平均分散ポートフォリオ選択およびシステミックリスクモデリングへの応用を含むこと。

提案手法

• フィードバック制御を用いた確率的制御問題を、制御された状態変数として僅かに周辺分布のみを用いる決定論的制御問題に再定式化すること。
• 平方可積分確率変数の空間に定義された関数に対して、リオンズの確率測度に関する微分可能性の概念を適用すること。
• 測度フローのための特殊なイトウの公式を用いて、動的計画方程式の無限小形を導出すること。
• ウォッサーシュタイン空間における確率測度の空間で、リフトされた粘性解を定義し、解析すること。
• 導出されたハミルトニアンと価値関数の構造を用いて、McKean-Vlasovフレームワークにおける検証定理を証明すること。
• オープンループとフィードバック制御のハミルトニアンを比較し、可測選択および連続性の仮定の下で等価であることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 状態と制御の連合依存性をもつ平均場ストキャスティック制御問題において、一般形の動的計画法の原則は成立するか？
• RQ2 測度微分とウォッサーシュタイン空間における確率的微積分を用いて、McKean-Vlasov SDE に対してベルマン方程式を厳密に導出できるか？
• RQ3 平均場制御問題におけるオープンループ制御とフィードバック制御の価値関数が一致する条件は何か？
• RQ4 確率測度の空間におけるベルマン方程式に対して、粘性解をどのように定義し、特徴づけられるか？
• RQ5 線形二次の平均場制御問題に対して、どのような明示的解が存在し、それらはポートフォリオ選択およびシステミックリスクにどのように応用できるか？

主な発見

• フィードバック制御を用いる平均場ストキャスティック制御問題において、一般形の動的計画法の原則が成立し、僅かに周辺分布を状態変数として用いる決定論的再定式化が可能である。
• リオンズの測度に関する微分と、測度フローのための特殊なイトウの公式を用いてベルマン方程式が導出され、ウォッサーシュタイン空間におけるハミルトニアン・ジャコビ・ベルマン方程式が得られる。
• 導出されたベルマン方程式に対して、価値関数が唯一の粘性解であることが証明され、制御問題の適切な定式化が保証される。
• 線形二次の平均場制御問題に対して、明示的解が導出され、それらは平均分散ポートフォリオ選択およびシステミックリスクモデリングに応用される。
• 正則性および連続性の条件下で、オープンループ制御とフィードバック制御の価値関数は一致する。これは、可測選択の下でオープンループケースのハミルトニアンがフィードバックケースのものに還元されるからである。
• 検証定理が確立され、適切な正則性をもつベルマン方程式の滑らかな解が、真の価値関数に対応することが確認される。