[논문 리뷰] SMACv2: An Improved Benchmark for Cooperative Multi-Agent Reinforcement Learning

Benjamin J. Ellis, Cook, Jonathan외 6명|arXiv (Cornell University)|2022. 12. 14.

Reinforcement Learning in Robotics인용 수 25

한 줄 요약

SMACv2는 협력적 MARL을 위한 절차적으로 생성되고 더 불확실하며 부분 관찰 가능한 벤치마크를 도입하여 SMAC의 한계를 해결하고 폐쇄 루프 정책에 도전한다.

ABSTRACT

The availability of challenging benchmarks has played a key role in the recent progress of machine learning. In cooperative multi-agent reinforcement learning, the StarCraft Multi-Agent Challenge (SMAC) has become a popular testbed for centralised training with decentralised execution. However, after years of sustained improvement on SMAC, algorithms now achieve near-perfect performance. In this work, we conduct new analysis demonstrating that SMAC lacks the stochasticity and partial observability to require complex *closed-loop* policies. In particular, we show that an *open-loop* policy conditioned only on the timestep can achieve non-trivial win rates for many SMAC scenarios. To address this limitation, we introduce SMACv2, a new version of the benchmark where scenarios are procedurally generated and require agents to generalise to previously unseen settings (from the same distribution) during evaluation. We also introduce the extended partial observability challenge (EPO), which augments SMACv2 to ensure meaningful partial observability. We show that these changes ensure the benchmark requires the use of *closed-loop* policies. We evaluate state-of-the-art algorithms on SMACv2 and show that it presents significant challenges not present in the original benchmark. Our analysis illustrates that SMACv2 addresses the discovered deficiencies of SMAC and can help benchmark the next generation of MARL methods. Videos of training are available at https://sites.google.com/view/smacv2.

연구 동기 및 목표

• 하한 효과로 인한 한계를 넘어서는 더 까다로운 MARL 벤치마크의 필요성을 제기한다.
• 다양하고 보지 못한 테스트 시나리오를 만들기 위해 절차적 콘텐츠 생성을 활용한 SMACv2를 도입한다.
• Extended Partial Observability (EPO) 도전을 통해 부분 관찰 가능성을 향상시킨다.
• SMACv2에서 최첨단 MARL 알고리즘을 평가하고 난이도의 원인을 분석한다.
• 새로운 SMACv2 시나리오를 생성하기 위한 확장 가능한 프레임워크를 제공한다.

제안 방법

• SMAC를 분석하여 확률성 부족과 의미 있는 부분 관찰 가능성의 부족을 식별한다.
• 무작위 팀 구성, 무작위 시작 위치, 그리고 실제 유닛 범위를 갖춘 SMACv2를 개발한다.
• 초기 배치를 다양화하기 위해 두 개의 시작 위치 모드(Reflect와 Surround)를 정의한다.
• 적의 관측을 마스킹하고 사용 가능한 행동 마스크를 제거하여 Extended Partial Observability (EPO)를 도입한다.
• SMACv2에서 기본 MARL 알고리즘(QMIX, MAPPO, QPLEX, IPPO)과 오픈 루프 정책을 평가한다.
• 새로운 관측 특성에 의한 난이도를 규명하기 위한 제거 실험을 수행한다.

실험 결과

연구 질문

• RQ1 SMAC가 폐쇄 루프 MARL 정책 평가에 필요한 충분한 확률성 및 의미 있는 부분 관찰 가능성을 제공하지 않는가?
• RQ2 SMACv2가 실제 폐쇄 루프 협력 및 암시적 커뮤니케이션을 요구하는 다양하고 보지 못한 시나리오를 생성하는가?
• RQ3 SMAC와 비교했을 때 SMACv2와 EPO에서 최첨단 MARL 알고리즘의 성능은 어떠한가?
• RQ4 SMACv2의 어떤 새로운 특징이 작업 난이도에 가장 크게 기여하는가?

주요 결과

• 오픈 루프 정책은 SMACv2에서 실패하며, 관측 및 조정의 필요성이 증가했음을 시사한다.
• QMIX가 일반적으로 SMACv2에서 MAPPO를 능가하며, 더 높은 메모리 요구와 변화하는 샘플 효율성을 보인다.
• MAPPO와 IPPO는 SMACv2 맵 전반에서 비슷한 성능을 보이며; QPLEX는 여러 맵에서 저성능을 보이고 특히 비대칭 맵에서 두드러진다.
• SMACv2는 SMAC보다 현저히 더 확률적이며, Q-값의 특징 추론 분석에서 확인된다.
• EPO 결과에서 목표 가시성에서 p=0일 때 성능이 저하되어 의미 있는 부분 관찰 가능성과 암묵적 커뮤니케이션의 역할을 강조한다.
• 제거 실험은 유닛 유형 다양성과 무작위 시작 위치에서의 확률성이 SMACv2의 난이도 대부분을 좌우한다는 것을 시사한다.