[논문 리뷰] Towards Understanding Cooperative Multi-Agent Q-Learning with Value Factorization

Jianhao Wang, Zhizhou Ren외 3명|arXiv (Cornell University)|2020. 05. 31.

Auction Theory and Applications참고 문헌 60인용 수 9

한 줄 요약

이 논문은 협동 다에이전트 강화학습에서의 가치 분해를 분석하기 위해 이론적 프레임워크인 인자화된 다에이전트 적합 Q-반복(Factorized Multi-Agent Fitted Q-Iteration, FMA-FQI)을 제안한다. 선형 가치 분해가 사전적 책임 할당을 암묵적으로 가능하게 하지만 수렴 보장이 되지 않을 수 있음을 밝혀내며, IGM 기반 분해는 전역 수렴을 보장하고, 실험적 검증을 통해 더 많은 파라미터를 가짐에도 불구하고 표현 능력에 한계가 있음을 확인한다.

ABSTRACT

Value factorization is a popular and promising approach to scaling up multi-agent reinforcement learning in cooperative settings, which balances the learning scalability and the representational capacity of value functions. However, the theoretical understanding of such methods is limited. In this paper, we formalize a multi-agent fitted Q-iteration framework for analyzing factorized multi-agent Q-learning. Based on this framework, we investigate linear value factorization and reveal that multi-agent Q-learning with this simple decomposition implicitly realizes a powerful counterfactual credit assignment, but may not converge in some settings. Through further analysis, we find that on-policy training or richer joint value function classes can improve its local or global convergence properties, respectively. Finally, to support our theoretical implications in practical realization, we conduct an empirical analysis of state-of-the-art deep multi-agent Q-learning algorithms on didactic examples and a broad set of StarCraft II unit micromanagement tasks.

연구 동기 및 목표

• 협동 다에이전트 강화학습(MARL)에서 가치 분해에 대한 이론적 이해 부족을 해결하기 위해.
• 가치 분해된 다에이전트 Q-학습을 분석하기 위한 일반적인 이론적 프레임워크를 체계화하기 위해.
• 선형 및 IGM 기반 가치 분해의 수렴 성질과 표현 능력의 한계를 조사하기 위해.
• 이론적 통찰을 실용적 성능과 연결하기 위해 매트릭스 게임과 스타크래프트 II 미크로매니지먼트 작업에서의 실험적 평가를 수행하기 위해.

제안 방법

• 단일 에이전트 적합 Q-반복의 일반화로서 다에이전트 가치 분해를 위한 인자화된 다에이전트 적합 Q-반복(FMA-FQI)을 제안한다.
• 가치 분해된 다에이전트 강화학습에서의 반복적 학습을 모델링하기 위해 경험 기반 벨먼 오차 최소화 기법을 사용한다.
• 선형 가치 분해 하에서 벨먼 오차 최소화를 위한 닫힌 형태의 해를 유도한다.
• IGM(개별-전역-최대) 원리를 분석하여 IGM 기반 분해에서 전역 수렴성과 최적성의 증명을 수행한다.
• 제어된 파라미터 설정 하에서 매트릭스 게임과 스타크래프트 II 작업에서 최신 알고리즘(VDN, QMIX, QPLEX, QTRAN)을 실험적으로 평가한다.
• 정적 데이터셋과 다양한 활성화 함수를 사용한 추론 실험을 통해 QMIX와 VDN의 발산 원인을 진단한다.

실험 결과

연구 질문

• RQ1 이론적 수렴 문제에도 불구하고 선형 가치 분해가 실무에서 작동하는 이유는 무엇인가?
• RQ2 선형 가치 분해가 수렴하지 못하는 조건는 무엇이며, 온-폴리시 학습은 안정성을 어떻게 향상시킬 수 있는가?
• RQ3 IGM 기반 가치 분해는 협동 다에이전트 강화학습에서 전역 수렴성과 최적성을 보장하는가?
• RQ4 모델 용량을 늘림(예: 파라미터 수 증가)으로써 VDN과 QMIX의 표현 능력 한계를 극복할 수 있는가?
• RQ5 데이터 수집 정책은 가치 분해된 다에이전트 강화학습 알고리즘의 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• 선형 가치 분해는 전역 보상 신호에서의 역전파를 통해 강력한 사전적 책임 할당 메커니즘을 암묵적으로 실현한다.
• 온-폴리시 학습은 전역 수렴이 보장되지 않더라도 선형 가치 분해의 국소 수렴 안정성을 향상시킨다.
• QTRAN과 QPLEX에서 사용된 IGM 기반 가치 분해는 FMA-FQI 프레임워크 하에서 전역 수렴성과 최적성을 보장한다.
• VDN과 QMIX의 파라미터 수를 늘려 QPLEX 수준으로 늘였음에도 불구하고, 매트릭스 게임에서 정확한 가치 함수 학습에 실패함을 통해 표현 능력의 한계가 여전히 존재함을 입증한다(대규모 VDN과 대규모 QMIX 실패).
• QMIX는 특정 비분할 데이터셋에서 발산이 무한정 증가하는 경향을 보이며, ELU에서 Tanh 활성화 함수로 전환함으로써 이 문제가 완화됨을 확인하여 활성화 함수 선택에 민감함을 보였다.
• 스타크래프트 II 작업에서의 실험 결과, VDN과 QMIX는 용량을 늘렸음에도 불구하고 더 어려운 지도에서 일반화 능력이 떨어지는 반면, QPLEX는 강력한 성능 유지를 보였다.