[논문 리뷰] QPLEX: Duplex Dueling Multi-Agent Q-Learning

Jianhao Wang, Zhizhou Ren외 3명|arXiv (Cornell University)|2020. 08. 03.

Reinforcement Learning in Robotics참고 문헌 32인용 수 144

한 줄 요약

QPLEX는 이점 기반 IGM 제약 아래 공동 Q-함수를 인수분해하기 위한 이중 듀얼링 네트워크를 도입하여 IGM 표현력을 완전히 달성하고 온라인 및 오프라인 STARCRAFT II MARL 작업에서 강력한 성능을 달성합니다.

ABSTRACT

We explore value-based multi-agent reinforcement learning (MARL) in the popular paradigm of centralized training with decentralized execution (CTDE). CTDE has an important concept, Individual-Global-Max (IGM) principle, which requires the consistency between joint and local action selections to support efficient local decision-making. However, in order to achieve scalability, existing MARL methods either limit representation expressiveness of their value function classes or relax the IGM consistency, which may suffer from instability risk or may not perform well in complex domains. This paper presents a novel MARL approach, called duPLEX dueling multi-agent Q-learning (QPLEX), which takes a duplex dueling network architecture to factorize the joint value function. This duplex dueling structure encodes the IGM principle into the neural network architecture and thus enables efficient value function learning. Theoretical analysis shows that QPLEX achieves a complete IGM function class. Empirical experiments on StarCraft II micromanagement tasks demonstrate that QPLEX significantly outperforms state-of-the-art baselines in both online and offline data collection settings, and also reveal that QPLEX achieves high sample efficiency and can benefit from offline datasets without additional online exploration.

연구 동기 및 목표

• 스케일 가능한 가치 기반 다중 에이전트 강화학습을 CTDE 아래 IGM 원칙으로 동기 부여합니다.
• 정확한 IGM 일관성을 보존하면서 결합 가치 함수를 인수분해하기 위한 이중 듀얼 네트워크 아키텍처를 제안합니다.
• 이점 기반 IGM을 형식화하고 그것의 IGM과의 등가성을 보여 완전한 함수 표현력을 가능하게 합니다.
• 온라인 및 오프라인 STARCRAFT II 미시 관리 벤치마크에서 우수한 성능과 샘플 효율성을 입증합니다.

제안 방법

• IGM 제약을 이점 기반 IGM으로 도입해 이점 함수에 대한 경계로 변환합니다.
• Transformation 네트워크와 Duel링 Mixing 네트워크를 통해 개별적으로 학습된 Q-함수를 결합하여 합성 Q-함수로 만드는 이중 듀얼 아키텍처를 사용합니다.
• IGM 제약을 만족시키는 양의 주의 기반 가중치를 가진 공동 이점 계산을 채택해 확장 가능한 인수분해(A_tot = sum_i lambda_i A_i)를 가능하게 합니다.
• 각 에이전트의 개별 행동 가치 함수와 joint 이력을 조건화하는 중앙 Transformation 모듈이 있는 QPLEX 네트워크를 구현합니다.
• 엔드투엔드로 TD 손실과 대상 네트워크로 학습하고 실행은 분산된 개별 Q-함수를 사용합니다.

실험 결과

연구 질문

• RQ1 이점 기반 IGM이 CTDE MARL에서 공동 행동-가치 인수분해를 위한 완전한 함수 클래스를 제공할 수 있을까요?
• RQ2 이중 듀얼 아키텍처가 기존의 인수분해 방법들과 비교하여 정확한 IGM 일관성과 우수한 확장성을 가능하게 합니까?
• RQ3 QMIX, VDN, QTRAN, Qatten과 같은 벤치마크와 비교하여 온라인 및 오프라인 STARCRAFT II 미시 관리 벤치마크에서 QPLEX의 성능은 어떠합니까?
• RQ4 QPLEX가 간단한 학습 과제와 복잡한 다중 에이전트 환경에서 안정성과 샘플 효율성을 개선합니까?
• RQ5 QPLEX가 오프라인 데이터를 활용해 추가 온라인 탐색 없이도 견고한 성능을 달성할 수 있습니까?

주요 결과

• 이점 기반 공식화와 이중 아키텍처를 통해 QPLEX는 완전한 IGM 표현력을 달성합니다.
• QPLEX는 온라인 데이터 수집에서 StarCraft II 미시 관리 과제에서 일관되게 Baselines를 능가하며 강한 샘플 효율성을 보입니다.
• QPLEX는 오프라인 데이터 수집에서도 안정성을 유지하고 오프라인 MARL 설정에서 다른 baselines를 능가합니다.
• 어텐션 기반 크레딧 배정 가중치의 학습에서의 중요성을 보여주는 차집합 실험.
• 이 방법은 간단한 문제와 복잡한 MARL 벤치마크 모두에서 성능 향상을 가져오며 제한적 표현력 방법의 불안정성 위험을 해결합니다.