[논문 리뷰] Is Independent Learning All You Need in the StarCraft Multi-Agent Challenge?

Christian Schroeder de Witt, Tarun Gupta외 5명|arXiv (Cornell University)|2020. 11. 18.

Reinforcement Learning in Robotics참고 문헌 33인용 수 182

한 줄 요약

논문은 Independent PPO(IPPO), 독립 학습 접근법이 SMAC에서 상태 중앙집중 학습의 최첨단 방법과 분산 실행 방법을 제한된 하이퍼파라미터 튜닝으로 일치하거나 능가할 수 있음을 보여준다. 또한 정책 클리핑의 역할과 중앙 상태 정보의 역할을 분석하며, 상대적 과일반화가 SMAC에서 이론이 예측하는 것보다 문제가 덜될 수 있음을 시사한다.

ABSTRACT

Most recently developed approaches to cooperative multi-agent reinforcement learning in the \emph{centralized training with decentralized execution} setting involve estimating a centralized, joint value function. In this paper, we demonstrate that, despite its various theoretical shortcomings, Independent PPO (IPPO), a form of independent learning in which each agent simply estimates its local value function, can perform just as well as or better than state-of-the-art joint learning approaches on popular multi-agent benchmark suite SMAC with little hyperparameter tuning. We also compare IPPO to several variants; the results suggest that IPPO's strong performance may be due to its robustness to some forms of environment non-stationarity.

연구 동기 및 목표

• SMAC와 같은 협력적 MARL 과제에서 독립 학습의 타당성에 대한 재평가를 고무한다.
• 어려운 SMAC 맵에서 QMIX, MAVEN, MAPPO와 같은 중앙집중식 가치 함수 방법과의 IPPO 비교 평가.
• PPO 클리핑과 학습 중 중앙 집중식 상태 정보의 유용성에 초점을 맞춰 IPPO의 성능이 왜 우수한지 조사한다.

제안 방법

• 각 에이전트가 독립적인 목표에 기초한 클리핑이 적용된 로컬 정책을 학습하는 Independent PPO(IPPO)를 제안한다.
• 각 에이전트에 대해 Generalized Advantage Estimation(GAE)을 사용하고 에이전트 간에 공유되는 로컬 평가자 V_phi(z_t^a)를 사용한다.
• 에이전트당 이득 A_t^a를 TD 오차와 다단계 GAE를 통해 equation (4)와 같이 정의한다.
• PPO 목적 함수에 정책 클리핑을 적용하고, 또한 equation (6)과 같이 평가자의 업데이트를 제한하기 위해 선택적 값 클리핑을 적용한다.
• 평가자에 대해 에이전트 간에, 액터 간에 네트워크 파라미터를 공유하는 중앙 집중식 학습-분산 실행 설정으로 훈련한다.
• 16개의 SMAC 맵에서 경미한 맵 특이적 하이퍼파라미터 튜닝으로 평가하고 QMIX, IQL, MAPPO, MAVEN과 비교한다.

실험 결과

연구 질문

• RQ1 다양한 맵에 걸쳐 IPPO가 SMAC에서 최첨단 CTDE MARL 방법과 일치하거나 능가하는가?
• RQ2 정책 클리핑과 값 클리핑과 같은 PPO 고유 구성요소가 협력적 MARL에서 독립 학습의 성능에 어떤 영향을 미치는가?
• RQ3 IPPO를 위한 중앙 집중식 학습 중 비평가를 전체 상태 정보로 조건화하는 영향은 무엇인가?
• RQ4 SMAC 맵에서 상대적 과일반화가 IPPO의 실용적 장애물인가?
• RQ5 어려운 SMAC 맵에서 IPPO의 결과가 독립적 기준(IAC, IQL)과 중앙 집중식 기준(QMIX, MAPPO, MAVEN)과 어떻게 비교되는가?

주요 결과

• IPPO는 여러 어려운 SMAC 맵에서 MAPPO와 QMIX를 크게 능가한다.
• IPPO는 IQL과 IAC를 상회하며 많은 맵에서 더 큰 안정성을 보인다.
• 정책 클리핑은 IPPO의 성능에 필수적이며, 값 클리핑은 일부 맵에서 성능을 향상시킨다.
• 중앙 상태 정보를 비평가에 사용하는 것이 하드 맵에서 로컬 비평가보다 나쁠 수 있어 SMAC에서 중앙 상태 정보가 보편적으로 유익하지 않음을 시사한다.
• IPPO의 클리핑을 통해 효과적 학습률을 감소시키는 것은 IAC의 학습률을 단순히 낮추는 것으로는 재현될 수 없으며, 클리핑이 고유한 안정화 이점을 제공함을 시사한다.