[논문 리뷰] The Surprising Effectiveness of MAPPO in Cooperative, Multi-Agent Games

Chao Yu, Akash Velu외 4명|arXiv (Cornell University)|2021. 03. 02.

Reinforcement Learning in Robotics참고 문헌 32인용 수 109

한 줄 요약

이 논문은 다중 에이전트 근접 정책 최적화(MAPPO), 온정책 강화학습 알고리즘인 다중 에이전트 PPO가 협동적 다중 에이전트 환경에서 뛰어난 성능을 내며, 표본 효율성과 최종 성능 면에서 오프정책 기준선을 따라하거나 능가함을 보여준다. 이는 일반적으로 온정책 방법이 다중 에이전트 환경에서 표본 효율성이 떨어진다고 여겨지는 데 비해, 이는 성능을 뛰어넘는 결과를 낳는다. 이 성능는 단일 GPU에서 최소한의 초모수 조정만으로 달성되며, 도메인 특화 수정 없이도 가능하다.

ABSTRACT

Proximal Policy Optimization (PPO) is a popular on-policy reinforcement learning algorithm but is significantly less utilized than off-policy learning algorithms in multi-agent settings. This is often due the belief that on-policy methods are significantly less sample efficient than their off-policy counterparts in multi-agent problems. In this work, we investigate Multi-Agent PPO (MAPPO), a variant of PPO which is specialized for multi-agent settings. Using a 1-GPU desktop, we show that MAPPO achieves surprisingly strong performance in three popular multi-agent testbeds: the particle-world environments, the Starcraft multi-agent challenge, and the Hanabi challenge, with minimal hyperparameter tuning and without any domain-specific algorithmic modifications or architectures. In the majority of environments, we find that compared to off-policy baselines, MAPPO achieves strong results while exhibiting comparable sample efficiency. Finally, through ablation studies, we present the implementation and algorithmic factors which are most influential to MAPPO's practical performance.

연구 동기 및 목표

• 다중 에이전트 강화학습에서 PPO와 같은 온정책 방법이 오프정책 방법보다 표본 효율성이 떨어진다고 보편적으로 여겨지는 믿음을 도전하기 위해.
• 다양한 협동적 다중 에이전트 환경에서 다중 에이전트 PPO(MAPPO)의 실용적 효과성을 평가하기 위해.
• MAPPO의 다중 에이전트 설정에서 뛰어난 성능을 이끌어내는 데 기여하는 핵심 구현 및 알고리즘 요소를 규명하기 위해.
• MAPPO가 특정 환경에 맞게 특화된 아키텍처나 알고리즘 수정 없이도 경쟁 가능한 성과를 낼 수 있는지 평가하기 위해.

제안 방법

• MAPPO는 각 에이전트의 정책을 자신만의 경험을 바탕으로 독립적으로 업데이트하면서도 온정책 학습 제약 조건을 유지함으로써 다중 에이전트 환경에 Proximal Policy Optimization(PPO) 알고리즘을 적용한다.
• 학습을 안정화시키기 위해 클리핑된 확률 비율 목적함수를 사용하여 정책 업데이트가 신뢰 영역 내에서 유지되도록 하여 성능 붕괴를 방지한다.
• 모든 에이전트의 관측값과 행동을 관찰할 수 있는 중심화된 크레딧 할당 기반의 크리틱을 사용하여 협동 설정에서 정책을 최적화한다.
• 알고리즘은 작업에 특화된 수정 없이 표준 신경망 아키텍처에 의존하며 단일 GPU에서 학습된다.
• 초모수는 환경 간 일관되게 유지되며, 환경에 맞는 특화된 튜닝 없이도 적용된다.
• 핵심 구성 요소인 가치 함수 정규화, 보상 형상 조정, 정책 업데이트 빈도의 영향을 분리하기 위해 탈락 연구(Ablation studies)를 수행한다.

실험 결과

연구 질문

• RQ1 MAPPO를 통한 온정책 학습은 협동적 다중 에이전트 환경에서 오프정책 기준선과 비교해 경쟁 가능한 표본 효율성을 달성하는가?
• RQ2 MAPPO의 다중 에이전트 설정에서의 뛰어난 경험적 성능를 이끌어내는 데 기여하는 핵심 구현 요소는 무엇인가?
• RQ3 MAPPO는 특정 환경에 맞게 특화된 아키텍처나 알고리즘 수정 없이도 뛰어난 성과를 낼 수 있는가?
• RQ4 MAPPO는 입자 세계, 스타크래프트, 한라비와 같은 다양한 다중 에이전트 벤치마크에서 어떻게 성능를 발휘하는가?

주요 결과

• MAPPO는 입자 세계, 스타크래프트 II, 한라비를 포함한 대부분의 테스트 환경에서 오프정책 기준선과 비교해 유사하거나 뛰어난 성능를 보였다.
• 알고리즘은 오프정책 방법과 유사한 표본 효율성을 보이며, 다중 에이전트 설정에서 온정책 방법이 본질적으로 표본 효율성이 떨어진다고 보는 가정을 도전한다.
• 가치 함수 정규화와 적절한 보상 스케일링은 학습 안정성과 최종 성능 향상에 크게 기여하는 핵심 구현 요소로 규명되었다.
• 최소한의 초모수 조정만으로도 다양한 환경에서 뛰어난 성능를 달성할 수 있어, 이 접근법의 강건성과 일반화 능력을 시사한다.
• 탈락 연구 결과, 정책 업데이트 빈도와 학습 안정성은 정규화 및 클리핑 메커니즘의 선택에 의해 강하게 영향을 받는다.
• MAPPO가 뛰어난 성과를 내기 위해 도메인 특화 아키텍처 변경이나 알고리즘 수정이 필요로 하지 않음을 확인하여, 간단함과 실용성을 강조한다.