[論文レビュー] Approximate Fictitious Play for Mean Field Games

Romuald Élie, Julien Pérolat+3 more|arXiv (Cornell University)|Jul 4, 2019

Experimental Behavioral Economics Studies参考文献 21被引用数 19

ひとこと要約

本稿では、モデルフリー強化学習（RL）を用いてエージェントが最適応答を学習する、平均場ゲーム（MFG）における近似虚仮的プレー（fictitious play）フレームワークを提案する。これにより、標準的なMFGダイナミクス下で、非定常ナッシュ均衡の近似解への収束が可能となる。本研究は、連続的行動空間における非定常ナッシュ均衡へのモデルフリーRLアルゴリズムの理論的収束を初めて確立した。

ABSTRACT

The theory of Mean Field Games (MFG) allows characterizing the Nash equilibria of an infinite number of identical players, and provides a convenient and relevant mathematical framework for the study of games with a large number of agents in interaction. Until very recently, the literature only considered Nash equilibria between fully informed players. In this paper, we focus on the realistic setting where agents with no prior information on the game learn their best response policy through repeated experience. We study the convergence to a (possibly approximate) Nash equilibrium of a fictitious play iterative learning scheme where the best response is approximately computed, typically by a reinforcement learning (RL) algorithm. Notably, we show for the first time convergence of model free learning algorithms towards non-stationary MFG equilibria, relying only on classical assumptions on the MFG dynamics. We illustrate our theoretical results with a numerical experiment in continuous action-space setting, where the best response of the iterative fictitious play scheme is computed with a deep RL algorithm.

研究の動機と目的

• エージェントが事前の知識を持たず、繰り返しの相互作用を通じて学習する現実的な学習状況をMFGでモデル化すること。
• 最適応答が強化学習によって近似される場合の反復虚仮的プレーの収束を分析すること。
• 古典的仮定に基づくMFGダイナミクスを用いて、非定常MFG均衡への理論的収束結果を拡張すること。
• 数値的妥当性検証を通じて、連続的行動空間におけるMFG設定においてモデルフリーRLが実際に可能であることを示すこと。

提案手法

• エージェントが他者の行動の経験的頻度に基づいて方策を更新する反復虚仮的プレー方式を採用する。
• 深層RLなどのモデルフリー強化学習アルゴリズムを用いて最適応答方策を近似する。
• 歴史的な行動頻度と近似最適応答に基づいてエージェント方策を更新する学習ルールを導入する。
• リプシッツ連続性や価値関数の正則性を含む、MFGダイナミクスに関する標準的仮定に依存する。
• 連続的行動空間における方策および価値関数の表現に関数近似（例：深層ニューラルネットワーク）を用いる。
• 方策と価値関数推定の安定化を図るため、二段階スケールの学習更新を採用する。

実験結果

リサーチクエスチョン

• RQ1 最適応答を近似する虚仮的プレーは、平均場ゲームにおいてナッシュ均衡に収束するか？
• RQ2 古典的MFG仮定下で、モデルフリー強化学習は非定常MFG均衡に収束するか？
• RQ3 連続的行動空間で深層RLを用いて最適応答を計算した場合、収束行動はどのように変化するか？
• RQ4 事前の知識のないエージェントを含む大規模な集団ゲームにおける学習に、理論的保証は存在するか？

主な発見

• 本稿では、近似虚仮的プレー方式が平均場ゲームにおいて（おそらく近似の）ナッシュ均衡に収束することを証明した。
• 収束は、リプシッツ連続性や滑らかさを含む、MFGダイナミクスに関する標準的仮定のもとで確立された。
• 本フレームワークは、最適応答近似に深層強化学習を用いることで、連続的行動空間における学習を効果的にサポートした。
• 数値実験により、連続的行動空間MFG設定における学習ダイナミクスの収束性と安定性が確認された。
• 本研究は、古典的仮定下で非定常MFG均衡へのモデルフリーRLアルゴリズムの理論的収束保証を初めて得た。
• 本手法は、ゲーム構造の事前知識がなくても学習を可能にするため、現実世界の大規模なマルチエージェントシステムに適している。