[論文レビュー] Revisiting Some Common Practices in Cooperative Multi-Agent Reinforcement Learning

Wei Fu, Chao Yu+3 more|arXiv (Cornell University)|Jun 15, 2022

Reinforcement Learning in Robotics被引用数 13

ひとこと要約

この論文は、協調的マルチエージェント強化学習における2つの一般的な手法—価値分解とパラメータ共有—に挑戦し、マルチモーダルな環境では失敗しうることを示している。エージェント固有のまたは自己回帰的ポリシーを用いた方策勾配法を提案し、StarCraft や Google Research Footballといった複雑な環境で性能の向上と自己組織的協調行動の出現を実証した。

ABSTRACT

Many advances in cooperative multi-agent reinforcement learning (MARL) are based on two common design principles: value decomposition and parameter sharing. A typical MARL algorithm of this fashion decomposes a centralized Q-function into local Q-networks with parameters shared across agents. Such an algorithmic paradigm enables centralized training and decentralized execution (CTDE) and leads to efficient learning in practice. Despite all the advantages, we revisit these two principles and show that in certain scenarios, e.g., environments with a highly multi-modal reward landscape, value decomposition, and parameter sharing can be problematic and lead to undesired outcomes. In contrast, policy gradient (PG) methods with individual policies provably converge to an optimal solution in these cases, which partially supports some recent empirical observations that PG can be effective in many MARL testbeds. Inspired by our theoretical analysis, we present practical suggestions on implementing multi-agent PG algorithms for either high rewards or diverse emergent behaviors and empirically validate our findings on a variety of domains, ranging from the simplified matrix and grid-world games to complex benchmarks such as StarCraft Multi-Agent Challenge and Google Research Football. We hope our insights could benefit the community towards developing more general and more powerful MARL algorithms. Check our project website at https://sites.google.com/view/revisiting-marl.

研究の動機と目的

• マルチモーダルな報酬ランドスケープ下における協調的マルチエージェント強化学習における価値分解とパラメータ共有の限界を分析すること。
• 複数の最適解が存在する状況で、なぜ方策勾配法が価値ベースの手法を上回るのかを解明すること。
• 協調的マルコフゲームにおける有効な方策勾配アルゴリズムの実装に役立つ実用的ガイドラインを提供すること。
• SMAC や GRF といった複雑な環境で、高度なポリシー表現を通じて出現する協調的行動を発見および検証すること。

提案手法

• 2x2 XORゲームを用いた理論的分析により、価値分解が対称的最適解を表現できないことを示した。
• マルチエージェント環境における収束性と最終報酬の向上を図るため、個々の（エージェント固有の）ポリシーを提案した。
• 計算コストの増加を最小限に抑えつつマルチモーダル行動を捉えるため、アテンションベースの自己回帰的ポリシー表現を導入した。
• カリキュラム学習や内発的好奇心といった訓練技術を用いて、自己回帰的ポリシーの訓練を安定化させた。
• 簡略化されたゲーム（XOR、Bridge）、SMAC、Google Research Footballを用いて性能と出現行動を比較検証した。
• エージェント固有および自己回帰的ポリシーを用いたマルチエージェントプロキシマルポリシーオプティマイゼーション（PPO）をベンチマーク環境に適用した。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルな協調的環境では、価値分解が最適ポリシーを表現できないことがあるか？
• RQ2 エージェント固有のポリシーを用いた方策勾配法が、特定のMARLベンチマークでなぜ価値ベースの手法を上回るのか？
• RQ3 自己回帰的ポリシー表現は、標準的な分散型ポリシーでは得られない、出現的で協調的な行動を発見できるか？
• RQ4 方策勾配ベースのMARLにおいて、サンプル効率とパフォーマンスを向上させる実用的設計選択は何か？
• RQ5 複雑な環境において、エージェント固有のポリシーと自己回帰的ポリシーは、多様で高報酬の戦略を学習する際にどのように比較されるか？

主な発見

• 2x2 XORゲームには2つの対称的最適解があるが、IGM原則の制約により価値分解はその報酬構造を表現できない。
• 個々のポリシーを用いた方策勾配法は、XORゲームにおいて最適解に理論的に収束し、マルチモーダルな設定で価値ベース手法を上回る性能を示した。
• 自己回帰的ポリシー学習は、GRFにおける「Tiki-Taka」パスやSMACにおける交互攻撃戦略といった複雑で協調的な行動を発見したが、独立したポリシーではそのような行動は得られなかった。
• SMACおよびGRFにおいて、エージェント固有のポリシーを用いることで、標準PPOに比べて最終報酬と収束速度が向上し、実用的利点が示された。
• 自己回帰的ポリシーは、ヒートマップ比較によって示されるように、より高い協調性とエージェントの空間的分布の最適化を達成し、より効果的なチーム戦略を生み出した。
• 自己回帰的ポリシーは表現力が高く、出現的行動を発見可能である一方で、個々のポリシーに比べて収束が遅いため、表現力とサンプル効率のトレードオフがあることが示された。