[論文レビュー] Learning in Mean Field Games: A Survey

Mathieu Laurière, Sarah Perrin+6 more|arXiv (Cornell University)|May 25, 2022

Sports Analytics and Performance被引用数 13

ひとこと要約

本調査は、大規模集団の戦略的相互作用をモデル化するための枠組みである平均場ゲーム（MFG）を解くための強化学習（RL）手法について包括的な概要を提示する。MFGをマークフ・決定過程（MDP）と結びつけることで、反復的アルゴリズムとディープRL技術を用いて、モデルフリー設定下でのナッシュ均衡と社会的最適解を学習する方法をレビューし、平滑化された反復的手法（例：楽観的ミラー降下法）が、標準的な固定点法や擬似的反復法と比較して、ベンチマーク問題におけるディープRL実装で優れた性能を示すことを示している。

ABSTRACT

Non-cooperative and cooperative games with a very large number of players have many applications but remain generally intractable when the number of players increases. Introduced by Lasry and Lions, and Huang, Caines and Malhamé, Mean Field Games (MFGs) rely on a mean-field approximation to allow the number of players to grow to infinity. Traditional methods for solving these games generally rely on solving partial or stochastic differential equations with a full knowledge of the model. Recently, Reinforcement Learning (RL) has appeared promising to solve complex problems at scale. The combination of RL and MFGs is promising to solve games at a very large scale both in terms of population size and environment complexity. In this survey, we review the quickly growing recent literature on RL methods to learn equilibria and social optima in MFGs. We first identify the most common settings (static, stationary, and evolutive) of MFGs. We then present a general framework for classical iterative methods (based on best-response computation or policy evaluation) to solve MFGs in an exact way. Building on these algorithms and the connection with Markov Decision Processes, we explain how RL can be used to learn MFG solutions in a model-free way. Last, we present numerical illustrations on a benchmark problem, and conclude with some perspectives.

研究の動機と目的

• 文献における主要なMFG設定（静的、定常的、動的、割引付き）の定義を体系的かつ明確化すること。
• MDP理論に基づいた、古典的反復的手法（例：固定点法、方策反復）を統合したMFGにおける統一的なフレームワークを提示すること。
• MFGとモデルフリー強化学習、特にディープRLを結びつけ、複雑で高次元なゲームのスケーラブルな解法を可能にすること。
• 数値的に、犠牲率とウォッサーシュタイン距離などの指標を用いて、RLベースのMFGソルバーをベンチマーク問題で評価・比較すること。
• 分布近似やベンチマークの標準化といった未解決の課題を特定し、OpenSpielのような共有フレームワークの導入を提唱すること。

提案手法

• MFGを静的、定常的、動的設定に分類し、MDPと前向き・後ろ向きPDE/SDE系に基づいた形式的定義を提示する。
• 最適応答計算と方策評価に基づく反復的アルゴリズムを導入し、固定点法、擬似的反復法、および楽観的ミラー降下法（OMD）を含む。
• 高次元設定における反復的手法の収束を改善するために、平滑化技術（例：減衰付き更新、ソフトマックス、ボルツマン方策）を適用する。
• 代表的エージェントの問題を平均場依存報酬と遷移を持つMDPとしてモデル化することで、MFGの解法手法をRLフレームワークに翻訳する。
• モデルフリーRL設定において、ディープQネットワークと方策勾配法を用い、エージェントが方策を学習すると同時に集団分布を推定する。
• 四部屋グリッドワールド環境を用いて手法をベンチマーク化し、犠牲率と真の均衡分布とのウォッサーシュタイン距離といった指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 ディープRLで実装された場合、固定点法、擬似的反復法、OMDなどの異なる反復的MFG解法の収束性と安定性はどのように比較されるか？
• RQ2 環境のダイナミクスに関する事前知識がなく、モデルフリー設定下で標準的なRLアルゴリズムがMFGにおけるナッシュ均衡をどの程度学習できるか？
• RQ3 ソフトマックスや減衰付き更新などの平滑化手法は、ディープRL設定下での反復的MFGソルバーの性能をどのように向上させるか？
• RQ4 犠牲率やウォッサーシュタイン距離といった指標の中で、数値実験における学習済みMFG均衡の質を最も適切に捉えるのはどれか？
• RQ5 複雑な環境へのMFG学習のスケーリングにおいて、特に集団分布の表現と更新に関する主な課題は何か？

主な発見

• 四部屋ベンチマークにおいて、純粋な固定点反復のディープRL版は収束に失敗し、更新スキームが平滑化されていない場合の不安定性が示された。
• 楽観的ミラー降下法（OMD）のディープRL版は、犠牲率と分布の正確性の両面で、固定点法および擬似的反復法のベースラインを一貫して上回った。
• ソフトマックスや減衰付き更新などの平滑化手法は、ディープRL設定下での反復的MFGソルバーの収束性と安定性を顕著に向上させた。
• 犠牲率とウォッサーシュタイン距離は、学習済みMFG均衡の質を評価する有効な指標であり、低い値はナッシュ均衡への良好な収束を示している。
• 本研究では、正確な反復的手法とディープRLを組み合わせることが、安定的かつ高性能なRLアルゴリズムを同定する上で有効な戦略であることを確認した。
• 著者らは、今後のMFG-RL研究における再現性と比較可能性を高めるために、標準化されたベンチマークと共有コードベース（例：OpenSpiel）の導入を提唱している。