[論文レビュー] Mean Field Games with Ergodic cost for Discrete Time Markov Processes

Anup Biswas|arXiv (Cornell University)|Oct 30, 2015

Markov Chains and Monte Carlo Methods参考文献 6被引用数 19

ひとこと要約

本稿は、一般のσ-コン pactなポーランド空間上での離散時間制御マルコフ過程に対して、定常コストを伴う平均場ゲーム（MFG）均衡の存在を確立する。カクタニ＝ファン＝グリクスバーグの不動点定理と、最小化条件およびスプリットチェーンを用いて導かれる値関数の等連続性を用いて、凸性および安定性の仮定の下で、N人プレイヤーのゲームにおけるナッシュ均衡がN → ∞のときMFG解に収束することを証明する。

ABSTRACT

We consider mean field games with ergodic cost in the framework of a general discrete time controlled Markov processes. The state space of the processes is given by a general $σ$-compact Polish space. Under certain conditions, we show the existence of a mean field game equilibrium. We also study the $N$-person game where the players interacts with each other via their empirical measure. We show that the $N$-person game has Nash equilibrium and as $N$ tends to infinity the equilibria converge to a mean field game solution.

研究の動機と目的

• 一般のσ-コンパクトなポーランド空間上での離散時間マルコフ過程における定常コスト付き平均場ゲーム（MFG）の一般的な枠組みを構築すること。
• 幾何的安定性および最小化条件を含む一般条件の下で、平均場ゲーム均衡の存在を確立すること。
• プレイヤーが経験的測度を通じて相互作用する有限N人プレイヤーのゲームにおけるナッシュ均衡の存在を証明すること。
• 凸性仮定の下で、N人プレイヤーのナッシュ均衡がN → ∞のときMFG解に収束することを示すこと。
• 固定点理論および定常制御技術を用いて、有限プレイヤーゲームと平均場極限の間のギャップを埋めること。

提案手法

• 最良応答対応の上半連続性を示すことで、カクタニ＝ファン＝グリクスバーグの不動点定理を適用し、MFG均衡の存在を証明する。
• 最小化条件およびスプリットチェーンの構築を用いて、定常制御問題における値関数の等連続性を確立する。
• すべての定常制御過程に対して不変測度が存在することを保証する幾何的安定性条件（2.2）を課す。
• 割引値関数近似（α → 1）を用いて定常制御問題を分析し、平均コストの極限を導出する。
• 小さな球での到達時間の議論を用いて期待コストを評価し、値関数に対する一様推定を得る。
• 劣微分収束定理およびマルコフ過程の定常性を用いて、経験的測度およびコスト平均の収束を示す。

実験結果

リサーチクエスチョン

• RQ1 一般の状態空間上での離散時間制御マルコフ過程に対して、定常コスト付き平均場ゲーム均衡が存在する条件は何か？
• RQ2 プレイヤーが経験的分布を通じて相互作用する有限N人プレイヤーゲームにおいて、ナッシュ均衡が存在することをどのように確立できるか？
• RQ3 N人プレイヤーゲームのナッシュ均衡がN → ∞のときMFG解に収束するための条件は何か？
• RQ4 拡散項やハルナック型不等式が存在しない状況において、値関数の等連続性をどのように確立できるか？
• RQ5 最適制御および不変測度条件から導かれる集合値写像の不動点として、MFG解を特徴づけられるか？

主な発見

• σ-コンパクトなポーランド空間上での離散時間制御マルコフ過程に対して、ややいささかの正則性および安定性条件の下で、平均場ゲーム均衡が存在する。
• 最小化条件およびスプリットチェーンの構築を用いて、定常制御問題の値関数が等連続であることが示され、不動点定理の適用が可能になる。
• 経験的測度を通じた相互作用を持つ有限N人プレイヤーゲームにおいて、ナッシュ均衡が存在することが、カクタニ＝ファン＝グリクスバーグの不動点定理を用いて証明される。
• 凸性仮定（A7）の下で、N人プレイヤーゲームのナッシュ均衡はN → ∞のとき弱収束して平均場ゲーム解に収束する。
• 極限におけるMFG解は、最適制御および不変測度を含む不動点方程式を満たし、長期平均コストは定常コストに等しい。
• MFG解における最適制御は、平均コストおよび値関数を含む動的計画法方程式を満たし、不変測度の下でほとんど確実に等号が成り立つ。