[논문 리뷰] MAVEN: Multi-Agent Variational Exploration

Anuj Mahajan, Tabish Rashid외 2명|arXiv (Cornell University)|2019. 10. 16.

Reinforcement Learning in Robotics인용 수 76

한 줄 요약

MAVEN은 가치 기반 MARL과 잠재 변수 주도형 계층 정책을 결합해 중앙집중 학습-분산 실행 하에서 헌신적이고 시간적으로 확장된 탐색을 가능하게 하며, SMAC에서 QMIX 등과 비교해 성능을 향상시킨다.

ABSTRACT

Centralised training with decentralised execution is an important setting for cooperative deep multi-agent reinforcement learning due to communication constraints during execution and computational tractability in training. In this paper, we analyse value-based methods that are known to have superior performance in complex environments [43]. We specifically focus on QMIX [40], the current state-of-the-art in this domain. We show that the representational constraints on the joint action-values introduced by QMIX and similar methods lead to provably poor exploration and suboptimality. Furthermore, we propose a novel approach called MAVEN that hybridises value and policy-based methods by introducing a latent space for hierarchical control. The value-based agents condition their behaviour on the shared latent variable controlled by a hierarchical policy. This allows MAVEN to achieve committed, temporally extended exploration, which is key to solving complex multi-agent tasks. Our experimental results show that MAVEN achieves significant performance improvements on the challenging SMAC domain [43].

연구 동기 및 목표

• 단조성 가치 함수 분해에서 표현 제약이 CTDE MARL의 탐색에 어떠한 영향을 미치는지 조사한다.
• 분산 실행을 존중하면서 다양하고 헌신적인 탐색을 가능하게 하는 MAVEN을 개발한다.
• 잠재 변수 계층 정책이 단조성 Q-함수로 표현되는 여러 탐색 모드를 유도할 수 있음을 보인다.
• SMAC StarCraft II 벤치마크와 제어된 매트릭스 게임에서 실증적 개선을 입증한다.

제안 방법

• 결합 행동 가치 함수를 조건화하는 잠재 공간 z를 도입하여 여러 탐색 모드를 만든다.
• 계층적 정책을 사용해 z를 제어하고, 가치 기반 에이전트가 z에 조건화된 Q-값을 최적화한다.
• 궤적과 z 사이의 상호정보를 최대화하여 변분 목적 J_V를 통해 다양한 탐색 모드를 학습한다.
• Q-학습 손실과 변분 MI 보상 및 잠재 공간 목표를 결합하여 엔드투엔드로 모델을 학습한다.
• 테스트 시 에피소드 시작 시 z를 샘플링하고 해당 Q-함수에 대해 분산된 argmax를 수행하여 행동을 선택한다.

실험 결과

연구 질문

• RQ1 단조성 가치 함수 근사치(예: QMIX)가 표현 제약으로 인해 최적이 아닌 탐색을 경험할 수 있는가?
• RQ2 잠재 변수 계층 정책이 CTDE MARL 내에서 헌신적이고 시간적으로 확장된 탐색을 가능하게 하는가?
• RQ3 궤적과 잠재 모드 간 상호정보를 최대화하면 다양하고 유용한 탐색 행동이 생기는가?
• RQ4 잠재 조건이 있는 단조 Q-함수가 SMAC 같은 도전적 MARL 벤치마크에서 기존 방법과 비교해 성능을 향상시키는가?

주요 결과

• MAVEN은 여러 맵에서 특히 난이도가 높은 맵에서 QMIX와 QTRAN에 비해 SMAC에서 유의미한 성능 향상을 달성한다.
• 잠재 공간 z는 여러 탐색 모드를 가능하게 하며, 각각이 z에 조건화된 단조 Q-함수를 형성하여 헌신적 탐색을 촉진한다.
• 궤적과 z 사이의 상호정보는 다양한 탐색 모드를 촉진하고 학습 효율을 향상시킨다.
• 제거 실험은 z에 대해 학습된 계층 정책이 고정되거나 균일한 z 분포를 능가하고, MI 손실이 다양성 향상에 기여함을 보여준다.