[논문 리뷰] UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning

Tarun Gupta, Anuj Mahajan외 3명|arXiv (Cornell University)|2020. 10. 06.

Reinforcement Learning in Robotics참고 문헌 61인용 수 7

한 줄 요약

UneVEn은 관련된 더 쉬운 작업들에서 유래한 정책을 활용하여 최적의 공동 행동으로의 탐색을 암묵적으로 유도하는 다중 에이전트 유니버설 스토커 피처(MAUSFs)를 사용하는 새로운 다중 에이전트 강화학습 방법을 제안한다. 학습 중 관련 작업을 샘플링하고 실행함으로써, 가치 기반 다중 에이전트 강화학습(MARL)에서 발생하는 상대적 과도한 일반화 문제를 해결하고, VDN과 QMIX가 실패하는 공조 중심 과제에서 최첨단 성능을 달성한다.

ABSTRACT

VDN and QMIX are two popular value-based algorithms for cooperative MARL that learn a centralized action value function as a monotonic mixing of per-agent utilities. While this enables easy decentralization of the learned policy, the restricted joint action value function can prevent them from solving tasks that require significant coordination between agents at a given timestep. We show that this problem can be overcome by improving the joint exploration of all agents during training. Specifically, we propose a novel MARL approach called Universal Value Exploration (UneVEn) that learns a set of related tasks simultaneously with a linear decomposition of universal successor features. With the policies of already solved related tasks, the joint exploration process of all agents can be improved to help them achieve better coordination. Empirical results on a set of exploration games, challenging cooperative predator-prey tasks requiring significant coordination among agents, and StarCraft II micromanagement benchmarks show that UneVEn can solve tasks where other state-of-the-art MARL methods fail.

연구 동기 및 목표

• 가치 기반 다중 에이전트 강화학습(MARL)에서 발생하는 상대적 과도한 일반화(RO) 문제를 해결하기 위해, 최적의 공동 행동이 단조적 가치 분해로 인해 과소평가되는 문제를 해결한다.
• 상대적으로 더 간단한 관련 작업들에서 유래한 정책을 활용하여, 공조적 MARL에서 공동 탐색을 향상시킨다.
• 특히 타이밍이 중요한 공동 조율이 필요한 어려운 다중 에이전트 과제에서, 높은 가치를 가진 공동 행동으로의 탐색을 암묵적으로 가중시켜 효과적인 조율을 가능하게 한다.
• VDN 방식의 분해를 통해 유니버설 스토커 피처(USFs)를 다중 에이전트 환경에 확장하여, 분리된 정책 실행을 가능하게 한다.

제안 방법

• VDN 방식의 단조적 분해를 사용하여 에이전트 간의 스토커 피처에 대한 선형 분해를 수행하는 다중 에이전트 유니버설 스토커 피처(MAUSFs)를 제안한다.
• 관련 과제의 분포에 걸쳐 공통된 스토커 피처 표현을 학습하여, 더 쉬운 과제에서의 지식을 목표 과제로 이전할 수 있도록 한다.
• 학습 중에는 목표 과제 중심의 정규분포에서 과제 기술을 샘플링하고, 가장 높은 가치를 가진 과제를 실행함으로써, 고가치 공동 행동으로의 탐색을 효과적으로 이끈다.
• 이미 해결된 관련 과제의 정책을 활용하여 탐색을 암묵적으로 유도함으로써, RO로 인한 열악한 행동 선택 가능성을 줄인다.
• 중앙집중식 크리틱을 사용하여, 다양한 과제에 걸쳐 공동 가치 함수를 추정하기 위해 유니버설 스토커 피처의 선형 조합을 유지한다.
• 개별 최대값 원칙(IGM)을 통해 분리된 실행을 가능하게 하여 확장성과 기존 MARL 프레임워크와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 관련 과제를 동시에 학습함으로써 공조적 MARL에서 공동 탐색을 향상시키고 상대적 과도한 일반화 문제를 해결할 수 있는가?
• RQ2 더 단순한 관련 과제의 정책을 사용함으로써, 목표 과제에서 최적의 공동 행동으로의 탐색이 암묵적으로 유도되는가?
• RQ3 VDN 분해를 사용한 MAUSFs가 타이밍 조율이 까다로운 다중 에이전트 환경에서 효과적인 조율을 가능하게 하는가?
• RQ4 VDN, QMIX, QTRAN과 같은 최첨단 가치 기반 MARL 방법과 비교했을 때, UneVEn은 상대적 과도한 일반화가 심한 과제에서 어떻게 성능을 내는가?
• RQ5 UneVEn은 동일한 환경 내에서 새로운 보상 함수로의 제로샷 일반화 능력이 어느 정도인가?

주요 결과

• UneVEn는 VDN과 QMIX가 상대적 과도한 일반화로 인해 실패하는, 타이밍 조율이 까다로운 사냥-도망 과제를 성공적으로 해결한다.
• 단독 행동에 대해 높은 벌점(p > r)이 존재하는 환경에서는 UneVEn가 효과적인 탐색과 정책 학습을 유지하지만, VDN과 QMIX는 심각하게 성능이 저하된다.
• 스타크래프트 II 미크로매니지먼트 벤치마크에서 높은 성능 향상을 달성하여 최첨단 가치 기반 MARL 알고리즘을 능가한다.
• UneVEn는 새로운 보상 함수로의 강력한 제로샷 일반화 능력을 보이며, MAUSFs를 통한 견고한 전이 학습 능력을 입증한다.
• 실험 결과에 따르면, UneVEn는 관련 과제를 활용함으로써 점차 해결 가능한 과제의 집합을 확장하여 결국 목표 과제도 해결 가능한 집합에 포함시킨다.
• 목표 과제 중심의 정규분포에서 과제를 샘플링하는 방식이 실제로 최적의 공동 행동으로의 탐색을 효과적으로 유도하며, RO 문제를 줄이는 데 기여한다.