[論文レビュー] Is Independent Learning All You Need in the StarCraft Multi-Agent Challenge?

Christian Schroeder de Witt, Tarun Gupta+5 more|arXiv (Cornell University)|Nov 18, 2020

Reinforcement Learning in Robotics参考文献 33被引用数 182

ひとこと要約

この論文は、独立学習アプローチである Independent PPO (IPPO) が、SMAC 上で、分散実行を伴う最先端の中央集権型訓練と同等かそれを上回ることができ、ハイパーパラメータ調整は限定的であることを示している。さらに、ポリシークリッピングと中央状態情報の役割を分析しており、相対的オーバージェネラリゼーションはSMACでは理論が予測するほど問題にならない可能性がある。

ABSTRACT

Most recently developed approaches to cooperative multi-agent reinforcement learning in the \emph{centralized training with decentralized execution} setting involve estimating a centralized, joint value function. In this paper, we demonstrate that, despite its various theoretical shortcomings, Independent PPO (IPPO), a form of independent learning in which each agent simply estimates its local value function, can perform just as well as or better than state-of-the-art joint learning approaches on popular multi-agent benchmark suite SMAC with little hyperparameter tuning. We also compare IPPO to several variants; the results suggest that IPPO's strong performance may be due to its robustness to some forms of environment non-stationarity.

研究の動機と目的

• SMAC のような協調型 MARL タスクにおける独立学習の実現可能性を再評価する動機付け。
• 難易度の高い SMAC マップ上で、QMIX、MAVEN、MAPPO などの中央集権型価値関数法に対して IPPO を評価する。
• PPO クリッピングと学習中の中央集権状態情報の有用性に焦点を当て、なぜ IPPO が良好に機能するのかを調査する。

提案手法

• 独立した目的関数に基づくクリッピングを用いて各エージェントが局所ポリシーを学習する Independent PPO (IPPO) を提案する。
• 各エージェントに対して Generalized Advantage Estimation (GAE) を用いた、エージェント間で共有される局所 critic V_phi(z_t^a) を用いる。
• 式 (4) のように TD誤差と多段階 GAE を用いて各エージェントのアドバンテージ A_t^a を定義する。
• PPO目的にポリシークリッピングを適用し、式 (6) のとおり critic の更新を制限するオプションの値クリッピングも適用する。
• 批評家のネットワークパラメータをエージェント間で共有し、アクター間でも共有する centralized training with decentralized execution 設定で訓練する。
• 16 の SMAC マップで穏やかなマップ固有のハイパーパラメータ調整を行い、QMIX、IQL、MAPPO、MAVEN と比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 多様なマップにわたって、IPPO は SMAC 上で最先端の CTDE MARL 手法と同等かそれ以上に機能するか？
• RQ2 PPO 固有の要素であるポリシークリッピングと値クリッピングが協調 MARL の独立学習における性能にどのように影響するか？
• RQ3 IPPO の中央集権訓練中に critic を完全な状態情報で条件付けることの影響はどうか？
• RQ4 SMAC マップ上で IPPO にとって相対的オーバージェネラリゼーションは実用的な障害となるのか？
• RQ5 難易度の高い SMAC マップにおける IPPO の結果は、独立ベースライン（IAC、IQL）および中央集権ベースライン（QMIX、MAPPO、MAVEN）とどう比較されるか？

主な発見

• IPPO はいくつかの難しい SMAC マップで MAPPO および QMIX を顕著に上回る。
• IPPO は IQL および IAC に勝り、多くのマップでより安定性を示す。
• ポリシークリッピングは IPPO の性能に不可欠であり、値クリッピングは一部のマップで性能を向上させる。
• 難しいマップでは critic に中央状態情報を完全に使用することが局所 critic よりも悪い場合があり、中央状態情報が SMAC 全般で有益とは限らないことを示している。
• IPPO のクリッピングによる実効学習率の低下は、単に IAC の学習率を下げるだけでは再現できず、クリッピングが固有の安定化効果を提供していることを示唆する。