[論文レビュー] SMACv2: An Improved Benchmark for Cooperative Multi-Agent Reinforcement Learning

Benjamin J. Ellis, Cook, Jonathan+6 more|arXiv (Cornell University)|Dec 14, 2022

Reinforcement Learning in Robotics被引用数 25

ひとこと要約

SMACv2 は協調的 MARL のための手続き的に生成された、より確率的で部分観測性を持つベンチマークを導入し、SMACの限界に対処し、クローズドループポリシーを難しくします。

ABSTRACT

The availability of challenging benchmarks has played a key role in the recent progress of machine learning. In cooperative multi-agent reinforcement learning, the StarCraft Multi-Agent Challenge (SMAC) has become a popular testbed for centralised training with decentralised execution. However, after years of sustained improvement on SMAC, algorithms now achieve near-perfect performance. In this work, we conduct new analysis demonstrating that SMAC lacks the stochasticity and partial observability to require complex *closed-loop* policies. In particular, we show that an *open-loop* policy conditioned only on the timestep can achieve non-trivial win rates for many SMAC scenarios. To address this limitation, we introduce SMACv2, a new version of the benchmark where scenarios are procedurally generated and require agents to generalise to previously unseen settings (from the same distribution) during evaluation. We also introduce the extended partial observability challenge (EPO), which augments SMACv2 to ensure meaningful partial observability. We show that these changes ensure the benchmark requires the use of *closed-loop* policies. We evaluate state-of-the-art algorithms on SMACv2 and show that it presents significant challenges not present in the original benchmark. Our analysis illustrates that SMACv2 addresses the discovered deficiencies of SMAC and can help benchmark the next generation of MARL methods. Videos of training are available at https://sites.google.com/view/smacv2.

研究の動機と目的

• 天井効果のため、SMACを超えるより厳しい MARL ベンチマークの必要性を動機づける。
• 多様で未知のテストシナリオを作成するため、手続き的内容生成を用いて SMACv2 を導入する。
• Extended Partial Observability (EPO) チャレンジを通じて部分観測性を強化する。
• SMACv2 上の最先端 MARL アルゴリズムを評価し、難易度の原因を分析する。
• 新しい SMACv2 シナリオを生成するための拡張可能なフレームワークを提供する。

提案手法

• SMAC を分析して、確率性の欠如と意味のある部分観測性の不足を特定する。
• ランダムなチーム構成、ランダムな開始位置、真のユニットレンジを備えた SMACv2 を開発する。
• 開始位置モードを 2 つ定義（Reflect, Surround）し、初期レイアウトを多様化する。
• 敵の観測をマスキングし、利用可能なアクションマスクを削除することによって Extended Partial Observability（EPO）を導入する。
• SMACv2 でベースライン MARL アルゴリズム（QMIX, MAPPO, QPLEX, IPPO）とオープンループポリシーを評価する。
• 新しい観測機能に起因する難しさをアブレーションして特定する。

実験結果

リサーチクエスチョン

• RQ1 SMAC は閉ループ MARL ポリシーを評価するには確率性が不十分で意味のある部分観測性が不足しているのだろうか？
• RQ2 SMACv2 は真のクローズドループ協調と暗黙の通信を必要とする多様で未知のシナリオを生成するのだろうか？
• RQ3 SMAC と比較して SMACv2 と EPO で最先端の MARL アルゴリズムはどの程度の性能を示すのか？
• RQ4 SMACv2 の新しい特徴のうち、タスクの難易度に最も寄与するのはどれか？

主な発見

• オープンループポリシーは SMACv2 で失敗し、観測と協調の必要性が増大していることを示唆する。
• QMIX は概して MAPPO より SMACv2 で優れており、メモリ要件が高く、サンプル効率は変動する。
• MAPPO と IPPO は SMACv2 のマップ全体で同様の性能を示す； QPLEX は特に非対称マップでいくつかのマップで能力不足。
• SMACv2 は SMAC よりはるかに確率的であることが、Q値の特徴推定分析によって示される。
• EPO の結果は、ターゲット可視性で p=0 の場合に性能が低下することを示し、意味のある部分観測性と暗黙の通信の役割を浮き彫りにする。
• アブレーションは、ユニット種の多様性とランダム開始位置からの確率性が SMACv2 の難しさの多くを駆動していることを示す。