[論文レビュー] Mean Field Multi-Agent Reinforcement Learning

Yaodong Yang, Rui Luo+4 more|arXiv (Cornell University)|Feb 15, 2018

Game Theory and Applications参考文献 50被引用数 246

ひとこと要約

この論文は、多数のエージェントにスケールするための平均場近似を導入し、MF-QとMF-ACアルゴリズムを提案、特定の仮定の下でナッシュ均衡への収束を示し、Gaussian squeeze、Ising、battleゲームで検証する。

ABSTRACT

Existing multi-agent reinforcement learning methods are limited typically to a small number of agents. When the agent number increases largely, the learning becomes intractable due to the curse of the dimensionality and the exponential growth of agent interactions. In this paper, we present \emph{Mean Field Reinforcement Learning} where the interactions within the population of agents are approximated by those between a single agent and the average effect from the overall population or neighboring agents; the interplay between the two entities is mutually reinforced: the learning of the individual agent's optimal policy depends on the dynamics of the population, while the dynamics of the population change according to the collective patterns of the individual policies. We develop practical mean field Q-learning and mean field Actor-Critic algorithms and analyze the convergence of the solution to Nash equilibrium. Experiments on Gaussian squeeze, Ising model, and battle games justify the learning effectiveness of our mean field approaches. In addition, we report the first result to solve the Ising model via model-free reinforcement learning methods.

研究の動機と目的

• MARLにおけるエージェント数が多い場合のスケーラビリティの課題に対処する。
• エージェントと集団間の相互作用を近似する平均場フレームワークを導入する。
• 実用的な平均場Q学習と平均場アクタークリティックアルゴリズムを開発・分析する。
• 定められた仮定の下でナッシュ均衡への収束保証を確立する。
• Gaussian squeeze、Isingモデル、混合協調-競合ゲームでの実験を通じて有効性を示す。

提案手法

• マルチエージェントQ関数を、エージェントと近隣の平均アクション（Eq. 5）に依存する形で因数分解する。
• 対となる近傍相互作用を平均場項で置換する平均場近似を適用する（Eq. 6–8）。
• 平均場Q値をTDに似たルールで、平均アクション \u001bar{a} と価値関数 v^{j}_{MF} を用いて更新する（Eq. 9–10）。
• 最適応応を計算するために、反復的な平均アクション更新と Boltzmann ポリシーまたは明示的なアクタークリティックネットワーク（Eq. 11–12）を用いる。
• 平均場演算子の収縮と MF-Q のナッシュ-Q への収束を、仮定の下で証明する（定理1）。
• ニューラルネットワーク関数近似器と勾配に基づく更新を用いた MF-Q（オフポリシー）と MF-AC（オンポリシー）の実装を示す（Eq. 14）。

実験結果

リサーチクエスチョン

• RQ1 平均場近似は、膨大な母集団を持つ MARL における学習のスケーラビリティを可能にするか。
• RQ2 標準的な MARL の仮定の下で MF-Q と MF-AC はナッシュ均衡へ収束するか。
• RQ3 Gaussian squeeze、Isingモデル、混合の協調-競合ゲームといった代表的なタスクで平均場法はどのように機能するか。

主な発見

• MF-Q と MF-AC は、多体相互作用をエージェント対平均場の二エージェント相互作用に変換することで多くのエージェントへスケールする。
• 平均場演算子は、特定の仮定の下で収束を保証する収縮性を持ち、ナッシュ-Q値への収束を確保する。
• 実験は Gaussian squeeze で学習効果を示し、明示的なエネルギー関数なしで Ising モデルを解決し、混合の戦闘ゲームで高い勝率を達成する。