[논문 리뷰] QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

Tabish Rashid, Mikayel Samvelyan외 4명|arXiv (Cornell University)|2018. 03. 30.

Reinforcement Learning in Robotics참고 문헌 77인용 수 352

한 줄 요약

QMIX는 공동 행동 가치를 각 에이전트 가치로 분해하기 위해 하이퍼네트워크를 갖춘 단조로운 혼합 네트워크를 도입하여 중앙 집중식 훈련과 분산 실행 및 타당한 argmax를 가능하게 한다. StarCraft II 마이크로매니지먼트 태스크에서 IQL과 VDN보다 우수하다.

ABSTRACT

In many real-world settings, a team of agents must coordinate their behaviour while acting in a decentralised way. At the same time, it is often possible to train the agents in a centralised fashion in a simulated or laboratory setting, where global state information is available and communication constraints are lifted. Learning joint action-values conditioned on extra state information is an attractive way to exploit centralised learning, but the best strategy for then extracting decentralised policies is unclear. Our solution is QMIX, a novel value-based method that can train decentralised policies in a centralised end-to-end fashion. QMIX employs a network that estimates joint action-values as a complex non-linear combination of per-agent values that condition only on local observations. We structurally enforce that the joint-action value is monotonic in the per-agent values, which allows tractable maximisation of the joint action-value in off-policy learning, and guarantees consistency between the centralised and decentralised policies. We evaluate QMIX on a challenging set of StarCraft II micromanagement tasks, and show that QMIX significantly outperforms existing value-based multi-agent reinforcement learning methods.

연구 동기 및 목표

• 부분 관찰성과 분산 실행 하에서 협력적 다중 에이전트 환경에서 조정된 정책 학습을 동기화한다.
• 에이전트에 의해 분산된 행동 선택을 보존하는 중앙 집중식 훈련 접근법을 개발한다.
• VDN를 넘는 표현력 확보를 추구하되, 분산 정책에 대해 구현 가능한 argmax를 유지한다.
• 훈련 중 추가 상태 정보를 활용하여 공동 행동 가치 추정 성능을 향상시킨다.

제안 방법

• 로컬 관찰에 기반한 에이전트 네트워크로 각 에이전트의 Q값 Q_a를 표현한다.
• 단조로운 혼합 네트워크를 통해 에이전트 출력을 혼합해 Q_tot를 생성하고, 단조성을 보장하기 위해 가중치를 비음수로 유지한다.
• 글로벌 상태 s에 조건화된 하이퍼네트워크를 사용해 혼합 네트워크의 가중치와 편향을 생성하여 상태 조건부 비선형 혼합을 가능하게 한다.
• 대상 네트워크를 사용한 Q_tot에 대한 DQN과 같은 손실로 엔드 투 엔드로 학습하여 오프폴리시 업데이트를 가능하게 한다.
• argmax 일관성을 유지한다: argmax_u Q_tot(τ, u)는 각 에이전트의 argmax 벡터로서 분산된 행동 선택을 가능하게 한다.
• StarCraft II 마이크로매니지먼트 태스크에서 중앙 집중식 훈련과 분산 실행을 활용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 단조롭지만 비선형적인 혼합 함수가 일관된 분산 정책을 보장하면서 더 풍부한 중앙 집중식 행동 가치 함수의 클래스를 표현할 수 있는가?
• RQ2 하이퍼네트워크를 통해 글로벌 상태에 조건화된 혼합 네트워크가 VDN과 같은 선형 분해보다 성능을 향상시키는가?
• RQ3 QMIX의 표현력과 상태 정보가 이질적 다중 에이전트 환경에서 성능 향상에 어느 정도 기여하는가?
• RQ4 QMIX는 실제로 다에이전트 태스크에서 Q_tot의 오프폴리시 최대 탐색을 합리적으로 유지하는가?

주요 결과

• QMIX는 StarCraft II 마이크로매니지먼트 태스크에서 독립적 Q-러닝(IQL) 및 가치 분해 네트워크(VDN)보다 우수하게 성능을 발휘하며, 이질적 에이전트 맵에서 눈에 띄는 이득을 보인다.
• QMIX는 최종 성능이 더 높고 학습 속도가 더 빠르며, 테스트 맵 전반에서 기준 방법보다 나은 성능을 달성한다.
• 절개(ablations) 결과 중앙 상태 정보와 비선형 혼합 모두가 특히 이질적 환경에서 성능에 기여한다.
• QMIX의 단조로운 혼합은 실행 시 각 에이전트의 argmax를 선형 시간에 가능하게 하면서 단순 합보다 더 풍부한 결합 행동 가치를 표현한다.
• 학습된 정책은 취약한 유닛을 보호하기 위한 위치 선정 등의 협력 전술을 보여주며 VDN과 IQL 행태와 다르다.