[論文レビュー] Forward-Backward Stochastic Differential Equations and Controlled McKean Vlasov Dynamics

René Carmona, François Delarue|arXiv (Cornell University)|Mar 23, 2013

Stochastic processes and financial applications参考文献 7被引用数 7

ひとこと要約

本稿は、状態過程の分布に依存する係数を有する、McKean-Vlasov型前向き・後向き確率的微分方程式（FBSDE）の最適制御に対する確率的最適性原理を確立する。ハミルトニアンの凸性の下で、継続法を用いて解の存在および一意性を証明し、得られる制御戦略が平均場相互作用を有する大規模な確率ゲームにおける近似ナッシュ均衡をもたらすことを示す。

ABSTRACT

The purpose of this paper is to provide a detailed probabilistic analysis of the optimal control of nonlinear stochastic dynamical systems of the McKean Vlasov type. Motivated by the recent interest in mean field games, we highlight the connection and the differences between the two sets of problems. We prove a new version of the stochastic maximum principle and give sufficient conditions for existence of an optimal control. We also provide examples for which our sufficient conditions for existence of an optimal solution are satisfied. Finally we show that our solution to the control problem provides approximate equilibria for large stochastic games with mean field interactions.

研究の動機と目的

• 非線形McKean-Vlasov型確率的システムの最適制御に特化した確率的最適性原理の開発。
• このクラスのシステムにおける最適制御の存在および一意性を保証する十分条件の確立。
• 制御問題の解が、平均場相互作用を有する大規模集団の確率ゲームにおける近似均衡にどのように関連するかの接続。
• 解の周辺分布に依存する係数を有する前向き・後向き確率的微分方程式（FBSDE）の構造の分析。
• フィードバック戦略としての近似均衡の妥当性を裏付ける正則性および混沌性（propagation of chaos）の性質の分析。

提案手法

• 状態過程の分布をハミルトニアンに組み込むことで、McKean-Vlasovダイナミクスに適合した新しいバージョンの確率的最適性原理を導出。
• ハミルトニアンの凸性に基づく継続法を用い、得られる平均場FBSDEの解の存在および一意性を証明。
• FBSDEの非結合場（decoupling field）を定義し、そのリプシッツ連続性を証明することで、フィードバック形式の戦略の構築を可能に。
• 各エージェントが非結合場から導出されたフィードバック戦略を用いるN個の相互作用的SDEの系を構築。
• 混沌性（propagation of chaos）の議論を適用し、エージェントの状態の経験的分布がMcKean-Vlasov法に収束することを示す。
• 制御戦略が、誤差が $\mathcal{O}(N^{-1/(d+4)})$ に減少する大規模ゲームにおいて近似ナッシュ均衡を形成することを確立。

実験結果

リサーチクエスチョン

• RQ1 分布に依存する係数を有するMcKean-Vlasov型ダイナミクスを含む制御問題に対して、確率的最適性原理をどのように拡張できるか。
• RQ2 標準的な有界性仮定が成立しない状況において、このようなシステムにおける一意な最適制御が存在する条件は何か。
• RQ3 最適制御問題の解を用いて、平均場相互作用を有する大規模な確率ゲームにおける近似均衡を構築できるか。
• RQ4 非結合場のどの正則性特性が、フィードバック戦略の存在を保証するか。
• RQ5 経験的分布の平均場極限への収束速度は何か。また、この収束速度は近似均衡の品質にどのように影響するか。

主な発見

• ハミルトニアンの凸性および係数のリプシッツ連続性の下で、有効である新しいMcKean-Vlasov制御システムに対する確率的最適性原理が確立された。
• 継続法を用いて、従来の有界性仮定を要件としなかった平均場FBSDEの解の存在および一意性が証明された。
• FBSDEの非結合場がリプシッツ連続であることが示され、フィードバック型最適制御の構築が可能となった。
• 最適制御戦略は、誤差が $\mathcal{O}(N^{-1/(d+4)})$ に減少する大規模な確率ゲームにおいて近似ナッシュ均衡を形成する。
• 混沌性（propagation of chaos）の性質により、N個の相互作用エージェントの状態の経験的分布がMcKean-Vlasov法に収束することが保証され、平均場近似の妥当性が裏付けられた。
• 従来の存在結果が有界性の欠如により失敗する線形・二次モデルに対しても本手法が適用可能であり、より広範な適用可能性を示した。