[논문 리뷰] Counterfactual Multi-Agent Policy Gradients

Jakob Foerster, Gregory Farquhar외 3명|arXiv (Cornell University)|2017. 05. 24.

Fuel Cells and Related Materials인용 수 478

한 줄 요약

COMA는 중앙집중식 비평가와 에이전트별 반사실적 기준선을 도입하여 협력적 다중 에이전트 RL에서 분산 정책에 대한 효과적인 크레딧 할당을 가능하게 하며, 분산 StarCraft 마이크로매니지먼트 작업에서 시연된다.

ABSTRACT

Cooperative multi-agent systems can be naturally used to model many real world problems, such as network packet routing and the coordination of autonomous vehicles. There is a great need for new reinforcement learning methods that can efficiently learn decentralised policies for such systems. To this end, we propose a new multi-agent actor-critic method called counterfactual multi-agent (COMA) policy gradients. COMA uses a centralised critic to estimate the Q-function and decentralised actors to optimise the agents' policies. In addition, to address the challenges of multi-agent credit assignment, it uses a counterfactual baseline that marginalises out a single agent's action, while keeping the other agents' actions fixed. COMA also uses a critic representation that allows the counterfactual baseline to be computed efficiently in a single forward pass. We evaluate COMA in the testbed of StarCraft unit micromanagement, using a decentralised variant with significant partial observability. COMA significantly improves average performance over other multi-agent actor-critic methods in this setting, and the best performing agents are competitive with state-of-the-art centralised controllers that get access to the full state.

연구 동기 및 목표

• 협력 다중 에이전트 RL에서 전 global 보상 하의 크레딧 할당 문제를 다루고, 분산 정책의 필요성을 제시한다.
• COMA: 중앙집중식 비평가와 반사실적(at baseline)을 갖춘 다중 에이전트 액터-비평가 방법을 제안한다.
• 한 번의 순전파로 반사실적 기준선의 효율적 계산을 가능하게 하는 전문화된 비평가 표현을 보여준다.
• 부분 관측성으로 StarCraft 유닛 마이크로매니지먼트를 대상으로 COMA를 경험적으로 평가하고, 베이스라인과 비교한다.

제안 방법

• 학습 중 조합된 행동 정보와 상태 정보를 조건으로 하는 중앙집중식 비평가를 사용한다.
• 에이전트의 행동을 주변의 다른 에이전트의 행동은 고정된 상태에서 모듈화하여 표준화한 per-agent counterfactual baseline A^a(s,u) = Q(s,u) - sum_{u^a'} pi^a(u^a'|tau^a) Q(s,(u^{-a},u^a')) 를 정의한다.
• 다른 에이전트의 행동이 주어졌을 때 각 에이전트의 행동에 대한 Q-값을 출력하는 비평가를 통해 모든 에이전트의 Q-값을 효율적으로 계산하여 단일 순전파를 가능하게 한다.
• 정책 경사 g = E_pi[ sum_a ∇_theta log pi^a(u^a|tau^a) A^a(s,u) ] 로 정책 그래디언스에 기초를 두는 접근법을 토대로 한다.
• Q 또는 V 추정을 위한 타깃 네트워크를 포함하는 TD(lambda) 비평가를 온-정책 학습에 적용한다.
• 부분 관측성과 비교적 간섭이 적은 StarCraft 유닛 마이크로매니지먼트를 대상으로 COMA를 평가하고,IAC 베이스라인 및 중앙집중 제어와 비교한다.

실험 결과

연구 질문

• RQ1 중앙집중식 비평가와 반사실적 기준선이 공유 글로벌 보상 하에서 분산 에이전트의 크레딧 할당을 개선하는가?
• RQ2 COMA가 표준 다중 에이전트 액터-비평가 베이스라인(IAC 변형)보다 우수하며 부분적으로 관찰 가능한 StarCraft 마이크로매니지먼트 태스크에서 중앙집중 제어자와도 경쟁력을 유지하는가?
• RQ3 효율적 반사실적 기준선 평가를 위한 제안된 비평가 표현이 실제로 효과적인가?
• RQ4 제안된 다중 에이전트 팀 규모와 맵 난이도에서 COMA의 성능은 제한된 시야 하에서 어떻게 변하는가?

주요 결과

• COMA는 StarCraft의 모든 시나리오에서 승률 측면에서 IAC 베이스라인을 능가한다.
• CENTRAL-QV 베이스라인은 COMA에 의해 능가되며 반사실적 기준선의 중요성을 시사한다.
• COMA는 중앙 V 베이스라인보다 더 빠르고 안정적으로 학습하며, 형성된 학습 신호 때문이라고 설명된다.
• 전체 상태 접근 및 매크로 액션이 제공될 때 BEST COMA 에이전트는 최신 중앙집중 제어자와 경쟁력 있는 성능을 달성한다.
• 중앙집중 비평가와 반사실적 기준선의 조합이 최종 성능과 학습 효율성에 결정적임을 보여주는 맹점 분석.