[논문 리뷰] Weighted QMIX: Expanding Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

Tabish Rashid, Gregory Farquhar외 2명|arXiv (Cornell University)|2020. 06. 18.

Reinforcement Learning in Robotics참고 문헌 31인용 수 37

한 줄 요약

가중치 QMIX는 QMIX 프레임워크에 가중 투영을 도입하여 더 높은 가치 액션에 가중을 두고 최적 합동 행동의 회복을 개선하고, Predator Prey 및 SMAC 작업에서 Centrally-Weighted (CW) 및 Optimistically-Weighted (OW) 변형을 제시하며 실험적 이득을 보인다.

ABSTRACT

QMIX is a popular $Q$-learning algorithm for cooperative MARL in the centralised training and decentralised execution paradigm. In order to enable easy decentralisation, QMIX restricts the joint action $Q$-values it can represent to be a monotonic mixing of each agent's utilities. However, this restriction prevents it from representing value functions in which an agent's ordering over its actions can depend on other agents' actions. To analyse this representational limitation, we first formalise the objective QMIX optimises, which allows us to view QMIX as an operator that first computes the $Q$-learning targets and then projects them into the space representable by QMIX. This projection returns a representable $Q$-value that minimises the unweighted squared error across all joint actions. We show in particular that this projection can fail to recover the optimal policy even with access to $Q^*$, which primarily stems from the equal weighting placed on each joint action. We rectify this by introducing a weighting into the projection, in order to place more importance on the better joint actions. We propose two weighting schemes and prove that they recover the correct maximal action for any joint action $Q$-values, and therefore for $Q^*$ as well. Based on our analysis and results in the tabular setting, we introduce two scalable versions of our algorithm, Centrally-Weighted (CW) QMIX and Optimistically-Weighted (OW) QMIX and demonstrate improved performance on both predator-prey and challenging multi-agent StarCraft benchmark tasks.

연구 동기 및 목표

• QMIX의 단조로운 혼합이 공동 행동 가치 함수를 캡처하는 데 가지는 표현 한계 식별.
• 공동 행동 중 최적을 우선시하도록 투영에서 가중 체계를 제안.
• 확장 가능한 깊은 RL 변형(CW-QMIX 및 OW-QMIX)을 개발하고 이론적으로 및 실증적으로 검증.
• 다중 에이전트 작업에서 탐험에 대한 개선된 성능과 강건성 시연.
• 최적 정책으로의 수렴을 가능하게 하는 무제한 Q* 근사치의 역할 분석.

제안 방법

• QMIX를 Q-학습 연산자의 단조함수 공간 Qmix로의 투영으로 형상화하고 단조성에서의 표현 한계와 과대표현, 과소표현 가능성을 보인다.
• Eq. 3에서 Qmix에 맞추며 공동 액션에 가중치를 부여하는 가중 투영 Pi_w를 도입한다.
• 두 가지 가중치를 제안: Idealised Central Weighting (Eq. 4) 및 Optimistic Weighting (Eq. 5), 올바른 argmax 회복을 보장하는 정리(Theorems 1 and 2).
• Hat{Q}^*를 가정한 가중 합성(Eq. 6) 및 가중 조합(Eq. 7)을 사용하여 가중된 QMIX 연산자를 정의한다.
• 깊은 RL 구현 개발: CW-QMIX 및 OW-QMIX, 여기서 Q_tot은 가중 손실(Eq. 8)로 학습하고 hat{Q}^*는 비단조적 혼합(Eq. 9)으로 학습한다.
• CW(Eq. 10) 및 OW(Eq. 5)에서 실용적 가중치 계산을 명시하여 최적 공동 행동으로 학습을 유도한다.

실험 결과

연구 질문

• RQ1 QMIX 함수 클래스에 대한 투영에 가중치를 도입하면 Q^*를 포함한 모든 Q에 대해 올바른 최대 공동 행동을 회복할 수 있는가?
• RQ2 확장 가능한 CW-QMIX 및 OW-QMIX가 비단조적이고 조정된 다중 에이전트 작업에서 QMIX보다 성능과 강건성을 향상시킬 수 있는가?
• RQ3 가중 QMIX 투영과 결합된 무제한 Q^* 근사를 학습하는 것이 최적 정책으로 수렴하는 데 도움이 되는가?
• RQ4 제안된 방법의 성능은 Predator Prey 및 SMAC과 같은 도전적인 조정 벤치마크에서 다양한 탐색 전략 하에서 어떻게 나타나는가?

주요 결과

• 가중 투영 Pi_w는 이상적인 중앙(Idealised Central) 및 낙관적(Optimistic) 가중의 고려에 대해 최적 공동 행동에 대한 올바른 argmax를 회복할 수 있어 QMIX의 저추정 리스크를 해결한다.
• 무제한 근사 hat{Q}^*가 가중 투영과 함께 사용될 때 Q^*로 수렴하여 최적 정책 회복을 가능하게 한다.
• CW-QMIX 및 OW-QMIX는 QMIX가 해결하지 못하는 포식자-피해자 과제에서 성능이 향상되었고 SMAC 맵에서 더 높은 탐험 비율에 대해 강건성을 보인다.
• SMAC 실험 전반에서 가중된 QMIX 변형은 증가된 탐험에서 베이스라인보다 우수한 성능을 보여 탐험적 환경에서 더 나은 조정성을 시사한다.
• 폐색 실험은 가중화와 무제한 hat{Q}^* 둘 다 포함해야 이득을 얻을 수 있음을 보여주고 hat{Q}^*의 아키텍처 선택이 성능에 영향을 줄 수 있다.