[論文レビュー] Generalized McKean-Vlasov (Mean Field) Control: a stochastic maximum principle and a transport perspective

Beatrice Acciaio, Julio Backhoff‐Veraguas+1 more|arXiv (Cornell University)|Feb 15, 2018

Stochastic processes and financial applications参考文献 17被引用数 6

ひとこと要約

この論文は、動的およびコストの両方が状態と制御の連合分布に依存する一般化された McKean-Vlasov 制御問題における確率的最適性原理を開発する。変分的アプローチを用いて、経路空間上の最適輸送に問題を関連付ける。必要十分なマルティングール最適性条件を確立し、平均場制御と最適輸送の間の新しい双対性を提示する。

ABSTRACT

We study McKean-Vlasov stochastic control problems where both the cost functions and the state dynamics depend upon the joint distribution of the controlled state and the control process. Our contribution is twofold. On the one hand, we prove a suitable version of the Pontryagin stochastic maximum principle (in necessary and in sufficient form). On the other hand, we suggest a variational approach to study a weak formulation of these difficult control problems. In this context, we derive a necessary martingale optimality condition, and we establish a new connection between such problems and an optimal transport problem on path space.

研究の動機と目的

• 状態と制御の連合分布に依存する動的およびコストを持つ McKean-Vlasov 制御問題への確率的最適性原理の拡張。
• 変分的アプローチを用いた一般化された McKean-Vlasov 制御問題の弱形式の構築。
• 一般化された McKean-Vlasov 制御と経路空間上の最適輸送の間の関連の確立。
• 弱形式における必要十分なマルティングール最適性条件の導出。
• 一般化された設定における必要条件および十分条件の両方の提供。

提案手法

• 状態プロセスおよび制御プロセスの法に依存する一般化された McKean-Vlasov 制御問題を定式化する。
• 必要および十分な形での Pontryagin の確率的最適性原理のバージョンを適用し、最適性条件を導出する。
• 確率測度の空間上で変分的アプローチを用いて制御問題の弱形式を導入する。
• 双対性および変分法を用いて、弱形式における必要マルティングール最適性条件を導出する。
• Wasserstein 型勾配の使用を通じて、制御問題と経路空間上の最適輸送問題との間の新しい接続を確立する。
• 輸送の視点を用いて最適性条件を再解釈し、解の構造的洞察を提供する。

実験結果

リサーチクエスチョン

• RQ1 動的およびコストが状態と制御の法に連合的に依存する場合に、確率的最適性原理をどのように一般化できるか。
• RQ2 一般化された McKean-Vlasov 制御問題の弱形式を可能にする変分的枠組みは何か。
• RQ3 このような問題の弱形式におけるマルティングール最適性条件の役割は何か。
• RQ4 最適制御の構造は、経路空間上の最適輸送とどのように関連しているか。
• RQ5 この一般化された設定において、平均場制御と最適輸送の間の双対性を厳密に確立できるか。

主な発見

• 状態と制御の連合依存性を有する McKean-Vlasov 制御問題に対して、必要および十分な形での一般化された確率的最適性原理が導出された。
• 変分的技術を確率測度の空間で用いることを可能にする、問題の弱形式が導入された。
• 弱形式において必要マルティングール最適性条件が確立され、検証のための重要な解析的ツールが得られた。
• 一般化された McKean-Vlasov 制御問題と経路空間上の最適輸送問題との間の新しい接続が明らかにされた。
• 輸送の視点により、最適性条件の新しい幾何的解釈が得られ、平均場制御が Wasserstein 勾配フローと結びついた。
• 結果として、より広範なクラスの平均場制御問題、特により豊かな依存構造を有する問題への確率的最適性原理の適用範囲が拡張された。