[논문 리뷰] Weighted QMIX: Expanding Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

Tabish Rashid, Gregory Farquhar외 2명|arXiv (Cornell University)|2020. 01. 01.

Reinforcement Learning in Robotics인용 수 114

한 줄 요약

가중치 QMIX는 QMIX 가치 인수화를 위한 가중 프로젝션을 도입하여 최적의 공동 행동을 더 잘 회복하고 조정 작업에서의 협력 성능 및 탐험에 대한 견고성을 향상시킵니다. 또한 무제한의 "+hat{Q}^{*}+" 예측기를 갖는 실용적 딥 RL 구현 CW-QMIX와 OW-QMIX를 제안합니다.

ABSTRACT

QMIX is a popular $Q$-learning algorithm for cooperative MARL in the centralised training and decentralised execution paradigm. In order to enable easy decentralisation, QMIX restricts the joint action $Q$-values it can represent to be a monotonic mixing of each agent's utilities. However, this restriction prevents it from representing value functions in which an agent's ordering over its actions can depend on other agents' actions. To analyse this representational limitation, we first formalise the objective QMIX optimises, which allows us to view QMIX as an operator that first computes the $Q$-learning targets and then projects them into the space representable by QMIX. This projection returns a representable $Q$-value that minimises the unweighted squared error across all joint actions. We show in particular that this projection can fail to recover the optimal policy even with access to $Q^*$, which primarily stems from the equal weighting placed on each joint action. We rectify this by introducing a weighting into the projection, in order to place more importance on the better joint actions. We propose two weighting schemes and prove that they recover the correct maximal action for any joint action $Q$-values, and therefore for $Q^*$ as well. Based on our analysis and results in the tabular setting, we introduce two scalable versions of our algorithm, Centrally-Weighted (CW) QMIX and Optimistically-Weighted (OW) QMIX and demonstrate improved performance on both predator-prey and challenging multi-agent StarCraft benchmark tasks.

연구 동기 및 목표

• 단조로운 가치 함수 혼합으로 인한 QMIX의 표현 한계를 평가한다.
• QMIX를 Q-learning 목표를 제한된 함수 공간으로의 투영으로 형식화한다.
• 더 우수한 공동 행동을 강조하고 최적 정책을 회복하기 위해 투영에 가중치를 도입한다.
• 확장 가능한 딥 RL 변형(CW-QMIX 및 OW-QMIX)을 개발하고 MARL 벤치마크에서 평가한다.
• Predator Prey 및 SMAC 과제에서 향상된 성능과 탐험에 대한 견고성을 입증한다.

제안 방법

• QMIX를 단조 함수 공간 Q^{mix}로의 투영 연산자로 형식화한다.
• 균일 가중치가 최적의 공동 행동을 회복하지 못할 수 있음을 보이고 가중 프로젝션 Pi_w를 도입한다.
• 두 가지 가중치를 제안한다: 이상화된 중앙 가중치와 공식적 보장을 가진 낙관적 가중치로, 올바른 argmax를 회수한다는 보장을 포함한다.
• 학습된 제한 없는 Q^{*}와 가중 투영으로 Q_tot를 얻는 Weighted QMIX(WQMIX)를 정의한다.
• 손실에서 가중치 w를 포함한 혼합 네트워크를 가진 Q_tot, 제한 없는 hat{Q}^{*}, 그리고 hat{Q}^{*}의 가중치를 기술한다; 타깃 y_i는 Q_tot의 argmax를 사용한다.
• 두 가지 확장 가능한 딥 RL 변형을 제공한다: Centrally-Weighted QMIX(CW-QMIX)와 Optimistically-Weighted QMIX(OW-QMIX).

실험 결과

연구 질문

• RQ1 QMIX의 비가중치 투영이 실패할 때 가중 투영이 최적의 공동 행동을 회복할 수 있는가?
• RQ2 가중 스킴(이상화된 중앙 및 낙관적)이 어떤 Q에 대해서든 최대 공동 행동의 회복을 보장하는가?
• RQ3 제한 없는 hat{Q}^{*}와 가중 투영을 도입하면 실제로 Q^{*}와 최적 정책으로 수렴하는가?
• RQ4 CW-QMIX와 OW-QMIX가 MARL 벤치마크에서 협력 및 탐험에 대한 견고성을 향상시키는가?
• RQ5 Weighted QMIX를 딥 RL 작업으로 확장할 때의 한계와 실용적 고려사항은 무엇인가?

주요 결과

• 특정 가중 아래에서 Q^{mix}에 대한 가중 투영은 올바른 최대 공동 행동을 복구할 수 있어 QMIX의 실패 모드를 해결한다.
• 두 가지 가중 스킴이 제안되었고 Q^{*}를 포함한 어떤 Q에 대해서도 올바른 argmax를 회복함을 이론적으로 보인다.
• 제한 없는 hat{Q}^{*}를 도입하면 Q^{*}의 더 풍부한 근사를 학습하는 동시에 Q_tot를 가이드로 사용하여 최적 정책으로 수렴할 수 있다.
• CW-QMIX 및 OW-QMIX는 포식자-피해자 과제와 SMAC 벤치마크에서 QMIX보다 성능이 향상되었으며, 특히 더 높은 탐험에서 그렇다.
• 가중 QMIX는 도전적인 MARL 시나리오에서 탐험에 대한 견고성과 협력을 향상시키지만, hat{Q}^{*}의 아키텍처 선택이 결과에 영향을 줄 수 있다.
• 이 접근법은 균일 가중의 한계를 드러내고 정책 회복에서 가중의 실용적 이점을 보여준다.