[論文レビュー] A Probabilistic Approach to Extended Finite State Mean Field Games

René Carmona, Peiqi Wang|arXiv (Cornell University)|Aug 23, 2018

Stochastic processes and financial applications参考文献 19被引用数 7

ひとこと要約

本稿は、半マルティンゲール表現と後向きストキャスティック微分方程式（BSDEs）を用いて、連続時間有限状態平均場ゲームの確率的弱形式を構築する。閉ループ戦略の下でナッシュ均衡の存在と一意性を確立し、状態の平均場と制御の平均場の両方を含む枠組みに拡張することで、PDEに基づく手法の制限を克服する。

ABSTRACT

We develop a probabilistic approach to continuous-time finite state mean field games. Based on an alternative description of continuous-time Markov chain by means of semimartingale and the weak formulation of stochastic optimal control, our approach not only allows us to tackle the mean field of states and the mean field of control in the same time, but also extend the strategy set of players from Markov strategies to closed-loop strategies. We show the existence and uniqueness of Nash equilibrium for the mean field game, as well as how the equilibrium of mean field game consists of an approximative Nash equilibrium for the game with finite number of players under different assumptions of structure and regularity on the cost functions and transition rate between states.

研究の動機と目的

• PDEに基づくアプローチの制限を克服する連続時間有限状態平均場ゲームのための確率的枠組みを構築すること。
• PDE手法では困難であるが、動的およびコスト関数に両方の平均場（状態と制御）を統合すること。
• 戦略集合をマルコフ戦略から閉ループ戦略へ拡張し、状態の履歴全体に依存する制御を可能にすること。
• BSDEと不動点補題を用いて、弱形式のもとでのナッシュ均衡の存在と一意性を確立すること。
• McKean-Vlasov型最適制御を用いた今後の有限状態平均場エージェント・プリンシパル問題の研究基盤を築くこと。

提案手法

• 遷移率行列（Q行列）とマルティンゲール増分を用いた連続時間マコフ連鎖の半マルティンゲール表現を用いる。
• ギルサノフの定理を適用して、確率測度の変更により最適制御問題を弱く定式化し、制御と測度変更を結びつける。
• 解の分布に依存するドライバおよび終端条件を持つ、連続時間マコフ連鎖を駆動とするMcKean-Vlasov型BSDEにより最適制御を特徴付ける。
• 複雑さを考慮して、状態の平均場と制御の平均場を弱形式により一様に取り扱う。
• 結合された前向き・後向き系の解の存在を示すために、シュアダー型の不動点補題を用いる。
• 複数の独立なマコフ連鎖を駆動とする線形BSDEの比較原理を適用し、解の非負性と安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 有限状態平均場ゲームに対して、閉ループ戦略を扱える確率的弱形式を構築できるか？
• RQ2 平均場ゲームの枠組み内で、状態の平均場と制御の平均場を扱いやすい形で同時にモデル化できるか？
• RQ3 このような確率的設定において、ナッシュ均衡の存在と一意性を保証する条件は何か？
• RQ4 この枠組みを、最適契約設計を伴う平均場エージェント・プリンシパル問題に拡張できるか？
• RQ5 測度変更とBSDEによる弱形式は、古典的なPDEに基づくアプローチと比べて、柔軟性と解析的取り扱いやすさの点でどのように異なるか？

主な発見

• 適切な正則性および構造的仮定の下で、コスト関数および遷移率にまつわる仮定のもと、平均場ゲームにおけるナッシュ均衡の存在と一意性が確立された。
• 適切な条件下（短い時間区間、または正則なコスト関数など）では、平均場ゲームの均衡は有限プレイヤーゲームにおける近似ナッシュ均衡を形成する。
• 弱形式により、制御が状態履歴全体に依存する閉ループ戦略を扱えるようになり、PDE手法が許容するマルコフ戦略を超えて拡張された。
• 本フレームワークは、制御の平均場を動的およびコスト関数に効果的に組み込み、PDEに基づく手法が最適制御のための取り扱いやすいフォッカー・プランク方程式を持たないため苦慮する点において顕著な前進を示した。
• 複数の独立したマコフ連鎖を駆動とする線形BSDEの比較原理が確立され、制御および遷移率過程にやや厳しい条件を課すだけで、解の非負性が保証された。
• 不動点補題により、McKean-Vlasov型BSDEの解がナッシュ均衡に対応することが示された。ここで、BSDEのドライバにはハミルトニアンおよび平均場依存性が符号化されている。