[논문 리뷰] Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

Tabish Rashid, Mikayel Samvelyan외 4명|arXiv (Cornell University)|2020. 03. 19.

Reinforcement Learning in Robotics인용 수 429

한 줄 요약

QMIX는 중앙 집중식 학습과 분산 실행을 위한 가치 기반 방법으로, 각 에이전트의 Q-값을 단조롭게 혼합하여 일관된 분산 정책을 보장하고 StarCraft Multi-Agent Challenge (SMAC)에서 평가된다.

ABSTRACT

In many real-world settings, a team of agents must coordinate its behaviour while acting in a decentralised fashion. At the same time, it is often possible to train the agents in a centralised fashion where global state information is available and communication constraints are lifted. Learning joint action-values conditioned on extra state information is an attractive way to exploit centralised learning, but the best strategy for then extracting decentralised policies is unclear. Our solution is QMIX, a novel value-based method that can train decentralised policies in a centralised end-to-end fashion. QMIX employs a mixing network that estimates joint action-values as a monotonic combination of per-agent values. We structurally enforce that the joint-action value is monotonic in the per-agent values, through the use of non-negative weights in the mixing network, which guarantees consistency between the centralised and decentralised policies. To evaluate the performance of QMIX, we propose the StarCraft Multi-Agent Challenge (SMAC) as a new benchmark for deep multi-agent reinforcement learning. We evaluate QMIX on a challenging set of SMAC scenarios and show that it significantly outperforms existing multi-agent reinforcement learning methods.

연구 동기 및 목표

• 분산 실행 하에서 에이전트 팀 간의 조정된 정책 학습을 촉진한다.
• 에이전트 수에 따라 확장 가능한 중앙집중형이지만 요인화된 Q-함수 표현을 제안한다.
• 단조로운 혼합 아키텍처를 통해 중앙집중형과 분산형 정책 간 일관성을 보장한다.
• StarCraft II 환경에서 심층 다중 에이전트 RL을 위한 도전적인 벤치마크로 SMAC를 도입한다.
• 다중 에이전트 RL 알고리즘 평가를 위한 오픈 소스 프레임워크(PyMARL)를 제공한다.

제안 방법

• 각 에이전트의 가치 함수 Q_a를 에이전트 네트워크로 표현한다.
• 에이전트 Q값을 혼합 네트워크로 결합해 Q_tot를 생성하고, 비음수 가중치를 사용해 단조성을 강제한다.
• 하이퍼네트워크를 통해 글로벌 상태에 따라 혼합 네트워크 가중치를 조건지어 상태 의존적 혼합을 가능하게 한다.
• 단조성이 Q_tot의 argmax가 각 에이전트의 Q_a의 argmax를 모아 놓은 스택과 일치함을 보장한다는 것을 증명한다.
• 배치 중 실행은 분산 실행을 유지하면서 중앙 집중식 학습으로 오프 정책 방법을 사용해 학습한다.

실험 결과

연구 질문

• RQ1 중앙 집중식 공동 행동 선택과 분산 에이전트 행동 사이의 일관성을 단조로운 에이전트별 값의 혼합이 보장할 수 있는가?
• RQ2 단조로운, 하이퍼네트워크로 조건지어지는 혼합 아키텍처(QMIX)가 단순한 가법 분해(VDN)보다 중앙집중형 Q-함수의 더 풍부한 클래스를 표현하면서도 확장 가능하게 남아 있는가?
• RQ3 QMIX가 도전적인 다중 에이전트 협업 과제에서 기존 방법들보다 우수한가?
• RQ4 하이퍼네트워크를 통한 상태 기반 혼합 네트워크 조건이 SMAC에서 성능과 협력에 어떤 영향을 주는가?

주요 결과

• QMIX는 SMAC 시나리오에서 절대 성능과 학습 속도 측면에서 IQL, VDN, COMA를 능가한다.
• 혼합 네트워크의 단조성은 분산된 argmax가 중앙집중식 argmax와 일치하도록 충분하다.
• 상태에 대한 하이퍼네트워크 조건 부여를 통해 중앙집중식 가치 표현을 더 풍부하게 하면서도 확장 가능한 분산 실행을 유지한다.
• 이질적인 작업에서 강건한 성능을 달성하려면 다층 혼합 네트워크가 필요하다.
• 프레임워크와 벤치마크(SMAC)는 그리드월드 환경을 넘어 심층 다중 에이전트 RL 방식의 표준화된 평가를 가능하게 한다.