[论文解读] SMACv2: An Improved Benchmark for Cooperative Multi-Agent Reinforcement Learning

Benjamin J. Ellis, Cook, Jonathan+6 more|arXiv (Cornell University)|Dec 14, 2022

Reinforcement Learning in Robotics被引用 25

一句话总结

SMACv2 引入一个程序化生成、更加随机且部分可观测的合作多智能体强化学习基准，解决 SMAC 的局限性并挑战封闭回路策略。

ABSTRACT

The availability of challenging benchmarks has played a key role in the recent progress of machine learning. In cooperative multi-agent reinforcement learning, the StarCraft Multi-Agent Challenge (SMAC) has become a popular testbed for centralised training with decentralised execution. However, after years of sustained improvement on SMAC, algorithms now achieve near-perfect performance. In this work, we conduct new analysis demonstrating that SMAC lacks the stochasticity and partial observability to require complex *closed-loop* policies. In particular, we show that an *open-loop* policy conditioned only on the timestep can achieve non-trivial win rates for many SMAC scenarios. To address this limitation, we introduce SMACv2, a new version of the benchmark where scenarios are procedurally generated and require agents to generalise to previously unseen settings (from the same distribution) during evaluation. We also introduce the extended partial observability challenge (EPO), which augments SMACv2 to ensure meaningful partial observability. We show that these changes ensure the benchmark requires the use of *closed-loop* policies. We evaluate state-of-the-art algorithms on SMACv2 and show that it presents significant challenges not present in the original benchmark. Our analysis illustrates that SMACv2 addresses the discovered deficiencies of SMAC and can help benchmark the next generation of MARL methods. Videos of training are available at https://sites.google.com/view/smacv2.

研究动机与目标

• 激发对比 SMAC 更具挑战性的 MARL 基准的需求，原因是存在天花板效应。
• 引入 SMACv2，通过程序化内容生成创造多样化、未知的测试场景。
• 通过 Extended Partial Observability (EPO) 挑战增强部分可观测性。
• 在 SMACv2 上评估最先进的 MARL 算法并分析难点来源。
• 提供一个可扩展的框架，用于生成新的 SMACv2 场景。

提出的方法

• 分析 SMAC，识别缺乏随机性和有意义的部分可观测性。
• 开发 SMACv2，具有随机队伍组成、随机起始位置和真实单位射程。
• 定义两种起始位置模式（ reflect 和 surround）以多样化初始布局。
• 通过屏蔽敌方观测并移除可用行动掩码来引入 Extended Partial Observability (EPO)。
• 在 SMACv2 上评估基线 MARL 算法（QMIX、MAPPO、QPLEX、IPPO）以及一个开环策略。
• 执行消融研究，将难度归因于新观测特征。

实验结果

研究问题

• RQ1 SMAC 是否存在随机性不足和有意义的部分可观测性不足的问题，从而影响对封闭回路 MARL 策略的评估？
• RQ2 SMACv2 是否生成需要真实的闭环协作和隐式沟通的多样化、未知场景？
• RQ3 与 SMAC 相比，最先进的 MARL 算法在 SMACv2 与 EPO 上的表现如何？
• RQ4 SMACv2 的哪些新特征对任务难度贡献最大？

主要发现

• 开环策略在 SMACv2 上失效，表明对观测和协作的需求更高。
• QMIX 在 SMACv2 上通常优于 MAPPO，内存需求更高，样本效率各异。
• MAPPO 和 IPPO 在 SMACv2 的各个地图上表现相近；QPLEX 在若干地图上表现不佳，尤其是非对称地图。
• SMACv2 的随机性显著高于 SMAC，这一点可由 Q 值的特征推断分析所证实。
• EPO 结果显示，在目标可见性中 p=0 时，性能下降，突显有意义的部分可观测性与隐式通信的作用。
• 消融研究表明，单位类型多样性和随机起始位置带来的随机性是 SMACv2 大部分难度的驱动因素。