[論文レビュー] Fictitious Play for Mean Field Games: Continuous Time Analysis and Applications

Sarah Perrin, Julien Pérolat+4 more|arXiv (Cornell University)|Jul 5, 2020

Game Theory and ApplicationsDecision Sciences被引用数 19

ひとこと要約

本稿は、有限時間枠および割引設定を含む共通ノイズを有する平均場ゲーム（MFGs）に対して、連続時間の仮想的最良応答（Fictitious Play）アルゴリズムを導入する。本稿では、報酬の逸脱度（exploitability）に関して $O(1/t)$ の収束速度を証明し、報酬の逸脱度をナッシュ均衡近似のための重要な指標として確立している。また、共通ノイズを有するMFGにおける学習のための最初の収束保証を提供しており、モデルベースおよびモデルフリーの両設定で検証されている。

ABSTRACT

In this paper, we deepen the analysis of continuous time Fictitious Play learning algorithm to the consideration of various finite state Mean Field Game settings (finite horizon, $γ$-discounted), allowing in particular for the introduction of an additional common noise. We first present a theoretical convergence analysis of the continuous time Fictitious Play process and prove that the induced exploitability decreases at a rate $O(\frac{1}{t})$. Such analysis emphasizes the use of exploitability as a relevant metric for evaluating the convergence towards a Nash equilibrium in the context of Mean Field Games. These theoretical contributions are supported by numerical experiments provided in either model-based or model-free settings. We provide hereby for the first time converging learning dynamics for Mean Field Games in the presence of common noise.

研究の動機と目的

• 有限時間枠および $γ$-割引設定を含む連続時間平均場ゲームにFictitious Playを拡張すること。
• MFGにおけるナッシュ均衡への収束を評価するための報酬の逸脱度を意味のある指標として確立すること。
• Fictitious PlayがMFGにおいて $O(1/t)$ の収束速度を示す理論的保証を提供すること。これはゼロサムゲームにおける結果と一致する。
• 提案されたフレームワーク下で、モデルベースおよびモデルフリーの両環境におけるアルゴリズムの性能を示すこと。共通ノイズを含む環境も含む。
• 大規模集団の確率的ゲームにおけるスケーラブルな学習アルゴリズムと理論的収束のギャップを埋めること。

提案手法

• 本稿は、各エージェントが時間経過に伴う集団の状態の経験的分布に基づいて方策を更新する連続時間のFictitious Playプロセスを定式化する。
• 代表的エージェントの方策と集団分布の時間的変化をモデル化する連続時間動的システムを導入し、後退的および前向きのコルモゴロフ方程式を用いる。
• 連続時間学習ダイナミクスの道具（リャプノフ関数や報酬の逸脱度に基づく収束基準）を分析に活用する。
• 報酬の逸脱度を、集団分布が与えられたもとで、現在の方策から逸脱することで得られる最大利得として定義する。
• 共通ノイズは、すべてのエージェントに影響を与える共通のブラウン運動 $W^0_t$ を用いて、連携拡散過程としてモデル化する。
• 線形・二次的MFGにおけるリカッチ方程式とODE解析を用いて理論的収束を証明し、実験的検証のベンチマークとして用いる。

実験結果

リサーチクエスチョン

• RQ1 連続時間のFictitious Playは、有限時間枠および $γ$-割引設定のMFGで $O(1/t)$ の収束速度を達成できるか？
• RQ2 報酬の逸脱度は、MFGにおけるナッシュ均衡への収束を評価するための信頼性のある指標として一般化可能か？
• RQ3 共通ノイズを有するMFGにおけるFictitious Playの収束保証を導出可能か？これは実世界の応用で一般的な設定である。
• RQ4 提案されたフレームワーク下で、モデルベースおよびモデルフリーの両設定においてFictitious Playプロセスはナッシュ均衡に収束するか？
• RQ5 報酬の逸脱度は、MFG学習アルゴリズムの実用的かつ理論的根拠に基づく停止基準として機能できるか？

主な発見

• Fictitious Playプロセスは、有限時間枠および $γ$-割引設定のMFGにおいて、報酬の逸脱度に関して $O(1/t)$ の速度でナッシュ均衡に収束する。
• 報酬の逸脱度は、MFGにおける収束品質を評価するための意味的かつ効果的な指標であることが確立され、集団分布に基づく指標を上回る性能を示す。
• 本稿は、共通ノイズを有するMFGにおける学習アルゴリズムの収束を初めて証明した研究である。これは、これまで理論的保証が欠落していた設定である。
• 数値実験により、モデルベースおよびモデルフリーの両設定で収束が確認され、理論的結果の妥当性が検証された。
• 明示的なリカッチ解を有する線形・二次的MFGベンチマークにより、学習された方策および価値関数の正確性が確認された。
• 理論的分析により、小さな報酬の逸脱度は、時間経過に伴う価値関数の小さなずれを意味することを示し、報酬の逸脱度が均衡品質の代理指標として妥当であることを支持する。