[논문 리뷰] Multi-Agent Common Knowledge Reinforcement Learning

Christian A. Schroeder de Witt, Jakob Foerster외 4명|arXiv (Cornell University)|2018. 10. 27.

Reinforcement Learning in Robotics참고 문헌 63인용 수 51

한 줄 요약

본 논문은 중앙 실행 없이도 공통 지식을 활용하여 조정된 다중 에이전트 제어를 달성하는 계층적이고 완전 분산형 정책 학습 프레임워크인 MACKRL을 제시한다. 이는 Matrix games와 StarCraft II 마이크로매니지먼트 과제에서 독립 학습 및 공동 행동 벤치마크를 능가한다.

ABSTRACT

Cooperative multi-agent reinforcement learning often requires decentralised policies, which severely limit the agents' ability to coordinate their behaviour. In this paper, we show that common knowledge between agents allows for complex decentralised coordination. Common knowledge arises naturally in a large number of decentralised cooperative multi-agent tasks, for example, when agents can reconstruct parts of each others' observations. Since agents an independently agree on their common knowledge, they can execute complex coordinated policies that condition on this knowledge in a fully decentralised fashion. We propose multi-agent common knowledge reinforcement learning (MACKRL), a novel stochastic actor-critic algorithm that learns a hierarchical policy tree. Higher levels in the hierarchy coordinate groups of agents by conditioning on their common knowledge, or delegate to lower levels with smaller subgroups but potentially richer common knowledge. The entire policy tree can be executed in a fully decentralised fashion. As the lowest policy tree level consists of independent policies for each agent, MACKRL reduces to independently learnt decentralised policies as a special case. We demonstrate that our method can exploit common knowledge for superior performance on complex decentralised coordination tasks, including a stochastic matrix game and challenging problems in StarCraft II unit micromanagement.

연구 동기 및 목표

• 분산 협력 다중 에이전트 강화학습에서 공통 지식의 사용을 협조 신호로 동기부여하고 형식화한다.
• 공통 지지된 조건으로 계층적 정책 트리를 학습하는 중앙집중식 학습, 분산 실행 알고리즘(MACKRL)을 개발한다.
• 복잡한 작업에서 공통 지식을 통한 협조가 분산 실행을 유지하면서 우수한 성능을 낳는다는 것을 입증한다.

제안 방법

• 공통 지식을 통해 에이전트 그룹을 조정하는 계층적 정책 트리를 갖는 확률적 액터-크리틱 알고리즘을 제안한다.
• 공동 행동에 대한 정책을 정의하고, 그룹 G에 대해 부분 정책 트리 pi^G(u^G | I^G(t), xi)를 순회하며, 상위 수준일수록 공통 지식을 사용해 더 큰 그룹을 조정한다.
• 전역 조정과 지역 제어 간의 트레이드오프를 가능하게 하여 하위 그룹에 대한 대안적 위임을 허용한다.
• Pairwise MACKRL를 확장 가능한 3단 계층으로 구현: 페어 선택기, 페어 컨트롤러, 개별 컨트롤러; 샘플 효율을 높이기 위해 페어 컨트롤러 간 매개변수를 공유한다.
• TD(lambda)로 학습된 중앙집중식 비평가(Central-V 스타일)와 미분 가능하고 엔드-투-엔드 학습 체계를 사용하여 계층적 결합 정책을 업데이트한다.

실험 결과

연구 질문

• RQ1 에이전트 그룹 간의 공통 지식이 독립 학습이 어려움을 겪는 분산 정책에서 효과적인 조정을 가능하게 하는가?
• RQ2 MACKRL은 공통 지식에 대한 계층적 조건화를 통해 완전한 공동 행동 조정과 독립 실행 사이에서 어떤 트레이드를 제공하는가?
• RQ3 coordination 작업과 대규모 벤치마크에서 IL, CK-JAL, JAL에 비해 MACKRL의 성능 이점은 무엇인가?
• RQ4 공통 지식 기반 조정은 관찰 노이즈에 얼마나 강건하고 더 많은 에이전트로 확장될 때의 강건성은 어떠한가?

주요 결과

• MACKRL은 이차원 매트릭스 게임에서 독립 액터 크리틱(IAC) 및 CK-JAL을 능가하고, 공통 지식의 증가에 따라 JAL 성능에 근접하며 분산 실행을 유지한다.
• 확률적 공통 지식 설정에서 MACKRL은 에이전트의 공통 지식에 대한 믿음(Beliefs)을 사용하여 작동할 수 있으며, 관찰 노이즈 하에서도 협조 정책이 완만하게 악화된다.
• StarCraft II 마이크로매니지먼트 벤치마크(SMAC)에서 MACKRL은 샘플 효율성 면에서 Central-V, COMA, QMIX를 능가하고 수렴 시의 성능도 경쟁력 있다.
• Pairwise MACKRL은 다양한 에이전트 수를 가진 여러 맵으로의 확장성을 보여주고, 2s3z, 3m, 8m 맵에서 벤치마크보다 향상된 조정을 보인다.
• 서브샘플링을 통한 페어 분할 집합 확장은 조정 커버리지를 점진적으로 축소하지만 여전히 강한 성능을 달성하여 파티션 가용성에 대한 강건성을 강조한다.