[논문 리뷰] Weighted QMIX: Expanding Monotonic Value Function Factorisation.

Tabish Rashid, Gregory Farquhar외 2명|arXiv (Cornell University)|2020. 06. 18.

Reinforcement Learning in Robotics참고 문헌 12인용 수 22

한 줄 요약

이 논문은 QMIX의 표현 능력을 향상시키기 위해 가치 함수 분해 과정에서 가중 투영을 도입한 새로운 확장인 Weighted QMIX를 제안한다. 중심적으로 가중치를 적용한(Centrally-Weighted, CW) 및 낙관적으로 가중치를 적용한(Optimistically-Weighted, OW) QMIX와 같은 적응형 가중치 기반 방법을 통해 높은 품질의 동시 행동을 우선시함으로써, QMIX의 표준 무가중 투영이 실패할 경우에도 최적의 정책을 정확히 복구할 수 있도록 한다. 이는 사냥-사냥개 및 스타크래프트 벤치마크에서 뛰어난 성능을 보여준다.

ABSTRACT

QMIX is a popular $Q$-learning algorithm for cooperative MARL in the centralised training and decentralised execution paradigm. In order to enable easy decentralisation, QMIX restricts the joint action $Q$-values it can represent to be a monotonic mixing of each agent's utilities. However, this restriction prevents it from representing value functions in which an agent's ordering over its actions can depend on other agents' actions. To analyse this representational limitation, we first formalise the objective QMIX optimises, which allows us to view QMIX as an operator that first computes the $Q$-learning targets and then projects them into the space representable by QMIX. This projection returns a representable $Q$-value that minimises the unweighted squared error across all joint actions. We show in particular that this projection can fail to recover the optimal policy even with access to $Q^*$, which primarily stems from the equal weighting placed on each joint action. We rectify this by introducing a weighting into the projection, in order to place more importance on the better joint actions. We propose two weighting schemes and prove that they recover the correct maximal action for any joint action $Q$-values, and therefore for $Q^*$ as well. Based on our analysis and results in the tabular setting we introduce two scalable versions of our algorithm, Centrally-Weighted (CW) QMIX and Optimistically-Weighted (OW) QMIX and demonstrate improved performance on both predator-prey and challenging multi-agent StarCraft benchmark tasks.

연구 동기 및 목표

• QMIX의 표현 한계를 특정화하고 해결하기 위해, Q*에 접근할 수 있음에도 불구하고 최적의 정책을 복구하지 못하는 무가중 투영 기반의 문제를 규명한다.
• QMIX의 최적화 목표를 모든 동시 행동에 대해 무가중 제곱 오차를 최소화하는 투영 연산자로 수식화한다.
• 더 나은 동시 행동을 우선시하는 가중치를 도입함으로써 투영 단계를 개선하고, 정책 복구 능력을 향상시킨다.
• 중앙집중적 훈련과 분산 실행 아키텍처를 유지하면서 성능 향상을 이룰 수 있는 확장 가능한 효과적인 변종인 CW QMIX와 OW QMIX를 개발한다.

제안 방법

• 논문은 QMIX를 Q-러닝 타겟을 계산하고, 무가중 최소 제곱 최소화를 통해 QMIX가 표현 가능한 공간으로 투영하는 연산자로 수식화한다.
• 모든 동시 행동이 투영 과정에서 동일하게 가중치를 부여함으로써 최적의 정책 복구가 비효율적이 되며, Q*가 제공되더라도 여전히 최적의 정책을 복구하지 못함을 규명한다.
• 더 나은 성능을 보이는 동시 행동에 더 높은 중요도를 할당하는 가중 투영 메커니즘을 도입한다.
• 두 가지 가중치 기반 방법을 제안한다: 중심적으로 가중치를 적용하는 Centrally-Weighted QMIX와 낙관적인 추정치를 사용해 높은 수익을 낼 가능성이 높은 행동을 우선시하는 Optimistically-Weighted QMIX.
• 이론적 분석을 통해 두 가중치 기반 방법이 모든 동시 행동 Q-값, 포함 Q*에 대해서도 정확한 최대 행동을 복구함을 증명한다.
• 이 방법들은 확장 가능한 딥 강화학습 환경으로 확장되어 표본 기반 및 딥 다중 에이전트 강화학습 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 QMIX의 무가중 투영이 Q*에 접근할 수 있음에도 불구하고 최적의 정책 복구에 실패할 수 있는가?
• RQ2 QMIX의 투영 과정에서 모든 동시 행동에 동일한 가중치를 적용하는 것이 최적의 정책을 표현하는 능력에 어떤 영향을 미치는가?
• RQ3 투영 단계에 적응형 가중치를 도입하면 공존적 다중 에이전트 강화학습 환경에서 정책 복구 능력과 성능이 향상되는가?
• RQ4 제안된 가중치 기반 방법인 CW QMIX와 OW QMIX가 모든 Q-값 함수에 대해 최적의 정책을 정확히 복구하는가?
• RQ5 향상된 표현 능력이 사냥-사냥개 및 스타크래프트와 같은 도전적인 다중 에이전트 환경에서 더 나은 성능으로 이어지는가?

주요 결과

• 표준 QMIX의 투영 과정은 모든 동시 행동에 대해 동일한 가중치를 적용함으로써, Q*에 접근할 수 있음에도 불구하고 최적의 정책을 복구하지 못한다.
• 적응형 가중치 기반 메커니즘을 통해 Weighted QMIX는 모든 동시 행동 Q-값, 포함 Q*에 대해서도 정확한 최대 행동을 성공적으로 복구한다.
• CW QMIX와 OW QMIX는 이론적 분석 조건 하에서 모두 정확한 정책 복구를 달성한다.
• 표본 기반 환경에서는 QMIX가 실패하는 영역에서 제안된 방법들이 최적의 행동을 정확히 식별함으로써 표준 QMIX를 능가한다.
• 표본 기반 및 딥 다중 에이전트 강화학습 벤치마크, 특히 사냥-사냥개 및 스타크래프트 II에서 Weighted QMIX는 표준 QMIX보다 더 뛰어난 샘플 효율성과 최종 성능을 보였다.
• 성능 향상은 가치 함수 투영 과정에서 높은 품질의 동시 행동을 우선시함으로써 향상된 표현 능력에서 기인한다.