[論文レビュー] The Surprising Effectiveness of MAPPO in Cooperative, Multi-Agent Games

Chao Yu, Akash Velu+4 more|arXiv (Cornell University)|Mar 2, 2021

Reinforcement Learning in Robotics参考文献 32被引用数 109

ひとこと要約

この論文は、マルチエージェント強化学習の協調的状況において、オンポリシー強化学習アルゴリズムであるマルチエージェントプロキシマルポリシー最適化（MAPPO）が、サンプル効率性および最終的なパフォーマンスにおいて、オフポリシーのベースラインと同等またはそれを上回る優れた性能を達成することを示している。これは、マルチエージェント設定においてオンポリシー手法がサンプル効率に劣ると一般的に考えられているにもかかわらず、顕著な結果である。この成果は、単一のGPU上で最小限のハイパーパramータチューニングと、ドメイン固有の修正なしに達成されている。

ABSTRACT

Proximal Policy Optimization (PPO) is a popular on-policy reinforcement learning algorithm but is significantly less utilized than off-policy learning algorithms in multi-agent settings. This is often due the belief that on-policy methods are significantly less sample efficient than their off-policy counterparts in multi-agent problems. In this work, we investigate Multi-Agent PPO (MAPPO), a variant of PPO which is specialized for multi-agent settings. Using a 1-GPU desktop, we show that MAPPO achieves surprisingly strong performance in three popular multi-agent testbeds: the particle-world environments, the Starcraft multi-agent challenge, and the Hanabi challenge, with minimal hyperparameter tuning and without any domain-specific algorithmic modifications or architectures. In the majority of environments, we find that compared to off-policy baselines, MAPPO achieves strong results while exhibiting comparable sample efficiency. Finally, through ablation studies, we present the implementation and algorithmic factors which are most influential to MAPPO's practical performance.

研究の動機と目的

• マルチエージェント強化学習において、PPOのようなオンポリシー手法がオフポリシー手法よりもサンプル効率に劣るとされる一般的な信念に挑戦すること。
• 多様な協調的マルチエージェント環境において、マルチエージェントPPO（MAPPO）の実用的有効性を評価すること。
• MAPPOがマルチエージェント設定で優れたパフォーマンスを発揮する要因となる、実装およびアルゴリズム的要因を同定すること。
• MAPPOが、特定の環境に特化したアーキテクチャ的・アルゴリズム的修正なしに、競争力のある結果を達成できるかどうかを評価すること。

提案手法

• MAPPOは、各エージェントのポリシーを個別に更新するが、自身の経験に基づき、オンポリシー学習の制約を維持する形で、マルチエージェント環境にPPOアルゴリズムを適用する。
• 安定した学習を確保するため、クリッピングされた確率比の目的関数を用い、ポリシー更新が信頼領域内に収まるように制御することで、パフォーマンスの崩壊を防ぐ。
• 各エージェントのポリシーは、全エージェントの観測と行動を観測する集中型クライアント（centralized critic）を用いて最適化され、協調的状況での責任帰属（credit assignment）を可能にする。
• アルゴリズムは単一のGPU上で学習され、タスク固有の変更なしに標準的なニューラルネットワークアーキテクチャに依存している。
• ハイパーパramータは環境間で最小限かつ一貫して設定されており、環境固有のチューニングは行われていない。
• アブレーションスタディを実施し、価値関数正規化、報酬形状の調整、ポリシー更新頻度といった主要な要素の影響を分離して評価した。

実験結果

リサーチクエスチョン

• RQ1 MAPPOによるオンポリシー学習は、協調的マルチエージェント環境において、オフポリシーのベースラインと同等のサンプル効率性を達成できるか？
• RQ2 MAPPOの優れた実証的パフォーマンスを支える主な実装要因は何か？
• RQ3 MAPPOは、特定の環境に特化したアーキテクチャ的・アルゴリズム的修正なしに、強力な結果を達成できるか？
• RQ4 MAPPOは、ピクセルワールド、スターフィック、ハナビといった多様なマルチエージェントベンチマークでどのように性能を発揮するか？

主な発見

• MAPPOは、ピクセルワールド、スターフィックII、ハナビを含む多数の環境で、オフポリシーのベースラインと同等またはそれ以上のパフォーマンスを達成した。
• オフポリシー手法と同等のサンプル効率性を示した。これは、マルチエージェント設定においてオンポリシー手法が本質的にサンプル効率に劣るとの仮定に反する。
• 価値関数正規化と適切な報酬スケーリングが、学習安定性と最終的パフォーマンスを著しく向上させる重要な実装要因であると特定された。
• 最小限のハイパーパramータチューニングで多様な環境で優れたパフォーマンスが得られたため、このアプローチのロバストネスと一般化能力が示された。
• アブレーションスタディの結果、ポリシー更新頻度と学習安定性は、正規化およびクリッピング手法の選択に強く依存していることがわかった。
• ドメイン固有のアーキテクチャ的変更やアルゴリズム的修正なしに、MAPPOが強力な結果を達成できることから、そのシンプルさと実用性が浮き彫りになった。