[論文レビュー] Finite mean field games: fictitious play and convergence to a first order continuous mean field game

Saeed Hadikhanloo, Francisco J. Silva|arXiv (Cornell University)|May 15, 2018

Stochastic processes and financial applications参考文献 33被引用数 44

ひとこと要約

本論文は単調性の下で有限時間/状態の平均場ゲームにおける fictitious play の収束を研究し、有限格子の MFG の極限が連続の第一階の MFGを解くことを示す。また、格子の粗さを通じて有限 MFG と連続 MFG の均衡を結びつける。

ABSTRACT

In this article we consider finite Mean Field Games (MFGs), i.e. with finite time and finite states. We adopt the framework introduced in Gomes Mohr and Souza in 2010, and study two seemly unexplored subjects. In the first one, we analyze the convergence of the fictitious play learning procedure, inspired by the results in continuous MFGs. In the second one, we consider the relation of some finite MFGs and continuous first order MFGs. Namely, given a continuous first order MFG problem and a sequence of refined space/time grids, we construct a sequence finite MFGs whose solutions admit limits points and every such limit point solves the continuous first order MFG problem.

研究の動機と目的

• 単調なデータの下で、fictitious play 学習の収束を調査する。
• 空間/時間格子上の有限 MFG と、それに対応する連続の first-order MFG との関連を確立する。
• 精緻化された有限 MFG からの均衡の極限点が、連続問題（Theorem 4.1）を解くことを示す。

提案手法

• （MFG d）にあるように、有限状態集合 S と離散時間 T を用いた有限 MFG を定義し、費用 J_M(P) を定義する。
• 動的計画原理（DPP）を定式化し、仮定 (H1) の下で存在性と一意性を示す。
• P_n = argmin J_{ar M_n}(P) による fictitious play を実装し、(9) に従って M_{n+1},  M_{n+1} を更新する。
• 単調性 (H2) およびリプシッツ条件 (H2) の下で、fictitious play が唯一の有限 MFG均衡へ収束することを証明する。
• 空間/時間を離散化することによって有限 MFG を連続の first-order MFG に関連づけ、格子長が0に近づく極限点を得て、これらの極限点が連続問題を解くことを証明する（Theorem 4.1）。
• Monge-Kantorovich 距離（metrics）と一般化された抽象的 fictitious play フレームワークを用いて収束を確立する（Theorem 3.1）。

実験結果

リサーチクエスチョン

• RQ1 単調なデータの下で、fictitious play は有限 MFG に対して収束するか？
• RQ2 精緻化された空間/時間格子上の有限 MFG の均衡は、連続の first-order MFG の均衡に収束するか？
• RQ3 どのような条件の下で、有限 MFG は連続の first-order MFG 問題を近似するか？
• RQ4 格子が細くなるとき、離散と連続設定の均衡の関係はどうなるか？

主な発見

• 単調なデータと一意の最小化子の仮定の下で、finite MFG に対して fictitious play は収束し、有限 MFG の均衡へ収束する（Theorem 3.2）。
• 走行費用 f と終端費用 g が単調かつリプシッツであることは、有限 MFG に対して一意の均衡を保証する（Proposition 3.1）。
• 一般化された抽象的 fictitious play フレームワークは、単調性と一意性の下で信念反復が均衡へ収束することを保証する（Theorem 3.1）。
• refined space/time grid 上で定義された有限 MFG の系列は、対応する連続の first-order MFG 問題を解く極限点を持つ（Theorem 4.1）。
• 構成された有限 MFG は離散化を介して連続 MFG を近似し、極限で均衡構造を保存することで、有限と連続の MFG 理論の橋渡しを提供する（Section 4）。