[論文レビュー] Approximation of Mean Field Games to N-Player Stochastic Games, with Singular Controls

Haoyang Cao, Xin Guo+1 more|arXiv (Cornell University)|Mar 13, 2017

Stochastic processes and financial applications参考文献 44被引用数 8

ひとこと要約

本稿では、速度が有界でかつ変動が有限である滑らかでない制御を伴うN人プレイヤーの確率的ゲームが、速度が有界である滑らかでない制御を伴う平均場ゲーム（MFG）によって近似可能であることを確立している。MFGの均衡は、速度が有界な制御を伴うN人プレイヤーのゲームに対して𝜖_N-NE（𝜖_N = O(1/√N)）であり、変動が有限の制御を伴う場合には(𝜖_N + 𝜖_𝜃)-NEであることが証明されている。ここで𝜖_𝜃は速度の上限θに依存する項である。これは、古典的なMFG近似理論を不連続な制御設定に拡張したものである。

ABSTRACT

This paper establishes that $N$-player stochastic games with singular controls, either of bounded velocity or of finite variation, can both be approximated by mean field games (MFGs) with singular controls of bounded velocity. More specifically, it shows i) the optimal control to an MFG with singular controls of a bounded velocity $θ$ is shown to be an $ε_N$-NE to an $N$-player game with singular controls of the bounded velocity, with $ε_N = O(\frac{1}{\sqrt{N}})$, and (ii) the optimal control to this MFG is an $(ε_N + ε_θ)$-NE to an $N$-player game with singular controls of finite variation, where $ε_θ$ is an error term that depends on $θ$. This work generalizes the classical result on approximation $N$-player games by MFGs, by allowing for discontinuous controls.

研究の動機と目的

• 滑らかでない制御を伴う設定への古典的なN人プレイヤーの確率的ゲームの平均場ゲーム（MFG）による近似を拡張すること。
• 既存のMFG理論が滑らか（絶対連続）な制御に依存しているのに対し、多くの現実世界の制御問題では不連続または滑らかでない制御が現れるという課題に対処すること。
• 速度が有界な滑らかでない制御を伴うMFGが、速度が有界でかつ変動が有限のN人プレイヤーのゲームの両方に対して効果的な近似として機能できることを示すこと。
• ナッシュ均衡近似の観点から誤差バウンドを確立し、速度が有界な場合の収束速度をO(1/√N)、変動が有限の場合はO(1/√N) + 𝜖_𝜃として定量すること。
• 速度が有界な滑らかでない制御は、不連続であるが、変動が有限の制御よりも解析的に取り扱いやすく、MFGの解析を可能にするという利点を有することを示すこと。

提案手法

• まず、適切な仮定の下で、速度が有界な滑らかでない制御問題の価値関数が、変動が有限の滑らかでない制御問題の価値関数に収束することを確立する。
• 滑らかでない制御を扱える枠組みを用いて、速度が有界な滑らかでない制御を伴うMFGの解の存在、一意性、正則性を証明する。
• N人プレイヤーの状態の経験的分布とMFGにおける平均場測度を結びつけるために、混沌の伝播および大数の法則に類似した議論を用いる。
• コスト関数およびドリフト関数のリプシッツ連続性を応用し、MFGの価値関数とN人プレイヤーのゲームの価値関数を比較するための摂動論的議論を適用する。
• MFGにおける最適制御とN人プレイヤーのゲームにおける摂動制御との間の比較を行い、MFG戦略からの逸脱がO(1/√N)のコスト損失しか生じないことを示す。
• N人プレイヤー系とMFG系との間のカップリングを用いて、状態過程の期待値における収束速度がO(1/√N)であることを示し、これがNE近似の根拠となっている。

実験結果

リサーチクエスチョン

• RQ1 速度が有界な滑らかでない制御を伴う平均場ゲーム（MFG）は、速度が有界な滑らかでない制御を伴うN人プレイヤーの確率的ゲームをどの程度近似可能であり、収束速度はいかほどか？
• RQ2 このようなMFGは、変動が有限の滑らかでない制御を伴うN人プレイヤーのゲームに対しても近似可能か？また、制御タイプの違いに起因する追加の誤差は何か？
• RQ3 制御が不連続かつ滑らかでない場合でも、古典的なO(1/√N)の収束速度は維持されるか？
• RQ4 速度が有界な滑らかでない制御を伴うMFGフレームワークは、大規模なプレイヤー集団におけるより複雑な変動が有限の滑らかでない制御問題の、取り扱いやすい代理として機能できるか？
• RQ5 速度が有界な制御から変動が有限の制御に移行する際、近似誤差に及ぼす速度上限θの役割は何か？

主な発見

• 速度が有界な滑らかでない制御を伴うMFGにおける最適制御は、速度が有界な制御を伴う対応するN人プレイヤーのゲームに対して𝜖_N-NE（𝜖_N = O(1/√N)）である。
• 同様のMFG制御は、変動が有限の滑らかでない制御を伴うN人プレイヤーのゲームに対しても(𝜖_N + 𝜖_𝜃)-NEである。ここで𝜖_𝜃は速度の上限θに依存する誤差項である。
• 適切な仮定の下で、速度が有界な滑らかでない制御問題の価値関数は、変動が有限の問題の価値関数に収束する。これにより、二つの制御タイプの間の橋渡しがなされた。
• N人プレイヤー系とMFG間の状態過程の収束は、期待値においてO(1/√N)であることが示され、これがNE近似誤差の根拠となっている。
• 解析的に取り扱いやすい速度が有界な滑らかでない制御は、変動が有限の制御よりも優位であり、両方のタイプのN人プレイヤーのゲームに対して正確な近似を提供することが確認された。
• 不連続な制御を組み込んだことで、古典的なMFG近似理論が拡張され、工学的・経済的モデルにおける不規則な制御ダイナミクスへのMFGの適用範囲が拡大された。