[논문 리뷰] Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning

Jianzhun Shao, Hongchang Zhang외 3명|arXiv (Cornell University)|2021. 02. 24.

Reinforcement Learning in Robotics참고 문헌 43인용 수 5

한 줄 요약

이 논문은 CTDE 프레임워크 하에서 다중 에이전트 강화학습에서 보상 분해를 위한 글로벌 계층을 학습하기 위해 메타정책 기울기(Meta-policy gradients)를 사용하는 메타학습 기반 프레임워크인 MNMPG를 제안한다. '연습 업데이트(Exercise updates)'에서 유도된 에피소드 보상 차이를 자극 신호로 활용함으로써, 단조 증가 혼합 네트워크의 보상 분해를 향상시키며, 간단한 유틸리티 네트워크를 사용하여 5개의 초하드 스타크래프트 II 마이크로관리먼트 지도 중 4개에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Reward decomposition is a critical problem in centralized training with decentralized execution~(CTDE) paradigm for multi-agent reinforcement learning. To take full advantage of global information, which exploits the states from all agents and the related environment for decomposing Q values into individual credits, we propose a general meta-learning-based Mixing Network with Meta Policy Gradient~(MNMPG) framework to distill the global hierarchy for delicate reward decomposition. The excitation signal for learning global hierarchy is deduced from the episode reward difference between before and after "exercise updates" through the utility network. Our method is generally applicable to the CTDE method using a monotonic mixing network. Experiments on the StarCraft II micromanagement benchmark demonstrate that our method just with a simple utility network is able to outperform the current state-of-the-art MARL algorithms on 4 of 5 super hard scenarios. Better performance can be further achieved when combined with a role-based utility network.

연구 동기 및 목표

• 중앙집중적 훈련과 분산 실행(CTDE)을 위한 다중 에이전트 강화학습에서 정확한 보상 분해 문제를 해결하기 위해.
• 메타학습을 통해 보다 효과적인 Q-값 조합을 이끌어내는 글로벌 계층을 학습하여 신뢰도 할당을 향상시키기 위해.
• 기존의 사전 지식이나 복잡한 아키텍처 수정 없이도 일반화 가능한 프레임워크를 개발하기 위해.
• 자기 향상되는 글로벌 계층 학습을 통해 복잡한 협동 다중 에이전트 작업에서 더 나은 탐색과 안정성을 달성하기 위해.

제안 방법

• 이 방법은 혼합 네트워크에서 보상 할당을 이끌어내는 글로벌 계층을 학습하기 위해 메타정책 기울기 학습을 활용한다.
• 초기 유틸리티 정책에 의해 생성된 트레이젝터리에 대해 적용되는 일련의 Q-학습 업데이트인 '연습 업데이트(Exercise updates)'를 도입한다.
• 메타학습의 자극 신호는 연습 업데이트 이전과 이후의 에피소드 수익 차이에서 유도된다.
• 단순한 2층 유틸리티 네트워크를 사용하여 국소 Q-값을 생성하며, 이는 IGM 원칙을 만족하는 단조 증가 혼합 네트워크를 통해 혼합된다.
• 글로벌 계층은 연습 업데이트로 인한 기대 수익 향상도를 최대화하도록 학습되며, 외부 사전 지식 없이도 자기 향상이 가능하다.
• QMIX, RODE, ROMA, MAVEN와 같은 기존의 CTDE 알고리즘과 호환되며, 훈련 파이프라인에 추가 요소로 통합될 수 있다.

실험 결과

연구 질문

• RQ1 사전 지식이나 복잡한 아키텍처에 의존하지 않고도 메타학습 기반 접근이 다중 에이전트 강화학습에서 보상 할당을 향상시킬 수 있는가?
• RQ2 메타정책 기울기를 통해 학습된 글로벌 계층은 단조 증가 혼합 네트워크의 보상 분해를 얼마나 효과적으로 향상시키는가?
• RQ3 제안된 방법은 도전적인 협동 다중 에이전트 작업에서 최신 기술(MARL 알고리즘)을 초월하는가?
• RQ4 이 프레임워크는 다양한 CTDE 아키텍처에 일반화되어 성능과 안정성을 유지할 수 있는가?
• RQ5 역할 기반 유틸리티 네트워크의 통합은 제안된 방법의 성능과 강건성에 어떤 영향을 미치는가?

주요 결과

• 간단한 2층 유틸리티 네트워크를 사용하는 MNMPG 프레임워크는 스타크래프트 II 마이크로관리먼트 벤치마크의 초하드 지도 5개 중 4개에서 현재 최신 기술(MARL 알고리즘)을 능가한다.
• SMAC 벤치마크에서 뛰어난 성능을 달성하며, 2m_vs_1z, 3m, 10m, 2c3z 등의 지도에서 최신 기술 성능을 보여준다.
• 역할 기반 유틸리티 네트워크와 결합할 경우 성능이 더욱 향상되고 훈련 안정성도 향상된다.
• 절단 실험을 통해 메타정책 기울기 전략의 효과성이 확인되었으며, 보상 차이 신호가 의미 있는 글로벌 계층 학습에 핵심적임을 입증한다.
• QMIX, RODE, ROMA 등 다양한 CTDE 방법과 일반적으로 호환되며, 아키텍처의 대대적 변경 없이도 성능 향상을 이룬다.