[논문 리뷰] Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments

Ryan Lowe|arXiv (Cornell University)|2017. 06. 07.

Reinforcement Learning in Robotics참고 문헌 38인용 수 1,014

한 줄 요약

MADDPG를 소개하는 actor-critic 방법으로, 학습 중 다른 에이전트의 행동에 조건을 두는 중앙 집중식 크리틱과 분산 실행을 특징으로 하여 협력, 경쟁, 혼합 멀티에이전트 태스크에서 학습을 향상시킨다. 또한 정책 앙상블과 다른 에이전트의 온라인 모델링을 사용하여 강건성을 높인다.

ABSTRACT

We explore deep reinforcement learning methods for multi-agent domains. We begin by analyzing the difficulty of traditional algorithms in the multi-agent case: Q-learning is challenged by an inherent non-stationarity of the environment, while policy gradient suffers from a variance that increases as the number of agents grows. We then present an adaptation of actor-critic methods that considers action policies of other agents and is able to successfully learn policies that require complex multi-agent coordination. Additionally, we introduce a training regimen utilizing an ensemble of policies for each agent that leads to more robust multi-agent policies. We show the strength of our approach compared to existing methods in cooperative as well as competitive scenarios, where agent populations are able to discover various physical and informational coordination strategies.

연구 동기 및 목표

• 전통 RL(Q-learning 및 정책 경사)을 다중 에이전트 환경에서 비정상성 및 큰 그래디언트 분산으로 인해 적용하는 데 있어 직면한 문제를 동기부여하고 분석한다.
• 중앙 집중 학습과 분산 실행을 갖춘 일반적인 다중 에이전트 심층 강화학습 알고리즘을 제안한다.
• 로컬 실행은 가능하게 하고 학습 중에 다른 에이전트의 정책에 접근하는 중앙 집중식 크리틱을 사용한다.
• 다른 에이전트의 온라인 모델링 및 정책 앙상블을 사용하여 안정성과 강건성을 향상시킨다.

제안 방법

• 모든 에이전트의 행동에 조건을 두는 중앙 집중식 크리틱을 사용하여 actor-critic 정책 경사를 확장한다.
• 입력으로 모든 에이전트의 행동과 일부 상태 정보를 받는 중앙 집중식 Q^{pi}_i를 사용해 에이전트 i의 그래디언트를 도출한다.
• 로컬 관찰만을 사용하는 분산 실행을 허용한다.
• 정확한 정책 지식을 필요로 하는 부담을 완화하기 위해 다른 에이전트의 정책 근사를 학습한다.
• 강건성을 위해 각 에이전트당 여러 서브정책을 학습하기 위해 정책 앙상블을 도입한다.

실험 결과

연구 질문

• RQ1 로컬 실행에서 다른 에이전트의 행동을 활용하는 중앙 집중식 크리틱이 다중 에이전트 환경에서 학습의 안정화를 보장하는가?
• RQ2 훈련 중 다른 에이전트의 정책을 모델링하거나 근사하면 정확한 정책이 알려져 있지 않을 때 성능이 향상되는가?
• RQ3 서브정책의 앙상블이 비정상성 및 적대적 행동에 대해 더 강건한 다중 에이전트 정책을 도출하는가?
• RQ4 MADDPG는 협력 및 경쟁 태스크에서 단일 에이전트 DDPG와 비교해 어떤 차이가 있는가?
• RQ5 정책 그래디언트를 중앙 집중식 크리틱으로 다중 에이전트 맥락에 확장하는 이점과 한계는 무엇인가?

주요 결과

• MADDPG는 협력적 환경과 경쟁적 환경 모두에서 DDPG 및 다른 벤치라인보다 우수한 성능을 보인다.
• MADDPG로 학습된 에이전트는 단일 에이전트 접근법이 달성하기 어려운 조정된 행동을 학습한다.
• 다른 에이전트의 정책 근사를 사용해도 수렴 속도를 늦추지 않고 유사한 성능을 얻는다.
• 정책 앙상블은 적대적 환경에서 단일 정책 에이전트보다 더 강력하고 강건한 정책을 제공한다.
• 협력 및 기만 태스크에서 MADDPG가 여러 시나리오에서 더 높은 성공률과 상대방 성공률을 낮추는 성과를 보인다.