[논문 리뷰] Off-Policy Multi-Agent Decomposed Policy Gradients

Yihan Wang, Beining Han외 3명|arXiv (Cornell University)|2020. 07. 24.

Reinforcement Learning in Robotics참고 문헌 59인용 수 42

한 줄 요약

DOP는 분해된(off-policy) MAPG 프레임워크를 도입하여 선형적으로 인수분해된 크리틱으로 효율적인 오프폴리시 학습을 가능하게 하고, 중앙-분산 불일치를 완화하며 이산 및 연속 행동 공간에서 크레딧 할당을 개선하는 한편 StarCraft II와 다중 에이전트 환경에서 강력한 실험적 성과를 보입니다.

ABSTRACT

Multi-agent policy gradient (MAPG) methods recently witness vigorous progress. However, there is a significant performance discrepancy between MAPG methods and state-of-the-art multi-agent value-based approaches. In this paper, we investigate causes that hinder the performance of MAPG algorithms and present a multi-agent decomposed policy gradient method (DOP). This method introduces the idea of value function decomposition into the multi-agent actor-critic framework. Based on this idea, DOP supports efficient off-policy learning and addresses the issue of centralized-decentralized mismatch and credit assignment in both discrete and continuous action spaces. We formally show that DOP critics have sufficient representational capability to guarantee convergence. In addition, empirical evaluations on the StarCraft II micromanagement benchmark and multi-agent particle environments demonstrate that DOP significantly outperforms both state-of-the-art value-based and policy-based multi-agent reinforcement learning algorithms. Demonstrative videos are available at https://sites.google.com/view/dop-mapg/.

연구 동기 및 목표

• 최신 다중 에이전트 정책 그래디언트 방법들이 가치 기반 방법에 비해 성능이 떨어지는 이유를 진단한다.
• CDM 및 크레딧 할당 이슈를 해결하고 오프폴리시 MAPG를 가능하도록 분해된 크리틱 아키텍처를 제안한다.
• 분해된 크리틱의 수렴 특성을 이론적으로 확립한다.
• 이산(StarCraft II SMAC) 및 연속(다중 에이전트 파티클) 벤치마크에서 실험적 효과를 입증한다.

제안 방법

• 중앙집중적이지만 인수분해된 크리틱을 제안한다: Q_tot^φ(τ, a) = sum_i k_i(τ) Q_i^φ_i(τ, a_i) + b(τ).
• E_π[Q_tot^φ(τ, ·)]를 에이전트별 기대값의 합으로 축약하여 오프폴리시 평가를 tractable하게 한다.
• 분해된 트리 백업과 온폴리시 TD(λ) 업데이트를 결합하여 샘플 및 학습 효율의 균형을 맞춘다.
• 이산 및 연속 행동 공간에 대한 확률적/결정적 DOP 변형을 제공하고 이에 상응하는 정책 그래디언트 형태를 제시한다.
• 완만한 가정하에 분해된 크리틱이 정책 개선을 보존함을 보이고 편향-분산 트레이드오프를 제시한다.
• 부록에 구현 상세 및 네트워크 아키텍처를 기술한다.

실험 결과

연구 질문

• RQ1 실제로 중앙-분산 불일치(CDM)가 발생하는가, 그리고 분해된 크리틱으로 이를 완화할 수 있는가?
• RQ2 오프폴리시 확률적 MAPG 방법을 분해된 크리틱으로 tractable하고 안정적으로 만들 수 있는가?
• RQ3 분해된 크리틱이 결정적 정책에 대해 효과적인 다중 에이전트 크레딧 할당을 제공할 수 있는가?
• RQ4 DOP 방법이 표준 벤치마크에서 최첨단 MAPG 및 가치 기반 MARL 방법보다 우수한가?

주요 결과

• 확률적 DOP는 이산 행동 StarCraft II 마이크로매니지먼트 과제에서 기준선보다 상당히 우수하다.
• DOP는 그래디언트 분산을 감소시키고 분해된 크리틱 구조를 통해 CDM을 약화시킨다.
• 오프폴리시 분해된 트리 백업(TB)은 다중 에이전트 오프폴리시 평가를 가능하게 한다.
• 결정적 DOP는 연속 행동 과제에서 크레딧 할당을 학습하고 이전 MAPG 방법을 상회한다.
• 도전적 벤치마크에서 여러 난수 시드에 대해 안정성과 강한 성능을 보여준다.