[논문 리뷰] Settling the Variance of Multi-Agent Policy Gradients

Jakub Grudzien Kuba, Muning Wen외 6명|arXiv (Cornell University)|2021. 08. 19.

Reinforcement Learning in Robotics참고 문헌 49인용 수 24

한 줄 요약

이 논문은 다중 에이전트 정책 그래디언트(MAPG)의 최적 기준선(OB)을 제안하며, 에이전트 수와 다중 에이전트 탐색이 기여하는 요소를 수학적으로 정량화하여 분산을 최소화한다. OB는 해석적으로 유도되며 딥 강화학습 프레임워크에 서브스티튜트로 구현되어, PPO와 COMA에 적용했을 때 스타크래프트 및 멀티에이전트 무죠코와 같은 MARL 벤치마크에서 훈련 안정성과 성능을 크게 향상시킨다.

ABSTRACT

Policy gradient (PG) methods are popular reinforcement learning (RL) methods where a baseline is often applied to reduce the variance of gradient estimates. In multi-agent RL (MARL), although the PG theorem can be naturally extended, the effectiveness of multi-agent PG (MAPG) methods degrades as the variance of gradient estimates increases rapidly with the number of agents. In this paper, we offer a rigorous analysis of MAPG methods by, firstly, quantifying the contributions of the number of agents and agents' explorations to the variance of MAPG estimators. Based on this analysis, we derive the optimal baseline (OB) that achieves the minimal variance. In comparison to the OB, we measure the excess variance of existing MARL algorithms such as vanilla MAPG and COMA. Considering using deep neural networks, we also propose a surrogate version of OB, which can be seamlessly plugged into any existing PG methods in MARL. On benchmarks of Multi-Agent MuJoCo and StarCraft challenges, our OB technique effectively stabilises training and improves the performance of multi-agent PPO and COMA algorithms by a significant margin.

연구 동기 및 목표

• 다중 에이전트 정책 그래디언트(MAPG) 추정기에서 분산의 원인을 철저히 분석하는 것.
• 에이전트 수와 다중 에이전트 탐색이 추정기 분산에 기여하는 방식을 정량화하는 것.
• MAPG에서 분산을 최소화하는 이론적으로 최적의 기준선(OB)을 유도하는 것.
• 기존 MARL 알고리즘에 쉽게 통합할 수 있도록 딥 러닝 호환성 있는 OB의 실용적 서브스티튜트를 개발하는 것.
• 표준 MARL 벤치마크에서 OB의 효과를 경험적으로 검증하는 것.

제안 방법

• 저자는 연합 정책 그래디언트 프레임워크 하에서 MAPG 추정기의 분산을 최소화하는 최적 기준선(OB)에 대한 닫힌 형태의 표현식을 유도한다.
• 에이전트 수와 연합 탐색으로 인한 분산 기여도를 분석함으로써, 상태-행동에 의존하는 기준선을 도출하며, 이는 다중 에이전트 간 의존성을 반영한다.
• 딥 강화학습을 위해 OB의 서브스티튜트를 제안하며, 재표본화된 행동과 리PLAY 버퍼에서의 Q-값을 사용해 전체 연합 행동 열거가 필요 없이 최적 기준선을 추정한다.
• OB 추정치로 기존 PG 기반 MARL 알고리즘(PPO 및 COMA 등)의 기준선 구성 요소를 교체함으로써 이 방법을 통합한다.
• 이 접근법은 이점 함수의 CTDE 설정에서의 구조를 활용하여 편향은 0을 유지하면서 분산을 최소화하는 가속 가능한 기준선을 유지한다.
• OB 조정된 이점 함수를 사용하여 표준 정책 그래디언트 최적화를 수행함으로써, 다중 에이전트 환경에서 안정적이고 효율적인 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 다중 에이전트 정책 그래디언트 추정기에서 높은 분산을 유발하는 주요 원인은 무엇인가?
• RQ2 MAPG 추정기의 분산을 최소화하는 이론적으로 최적의 기준선을 도출할 수 있는가?
• RQ3 기존 기준선(예: COMA의 반사적 기준선)과 비교해 최적 기준선은 분산 감소 측면에서 어떻게 성능을 내는가?
• RQ4 과도한 계산 비용 없이 딥 강화학습 환경에서 최적 기준선을 효과적으로 근사할 수 있는가?
• RQ5 제안된 최적 기준선은 다중 에이전트 RL 벤치마크에서 훈련 안정성과 최종 성능을 향상시키는가?

주요 결과

• 논문에서 유도된 최적 기준선(OB)은 다중 에이전트 정책 그래디언트 추정기의 가능한 최소 분산을 달성하며, 이론적·실제로 기존 기준선을 능가한다.
• OB는 훈련 분산을 크게 감소시켜 멀티에이전트 무죠코 및 스타크래프트 환경 모두에서 더 안정적인 학습 곡선을 이끌어낸다.
• 멀티에이전트 PPO 및 COMA에 적용했을 때 OB는 모든 평가 환경에서 일관된 성과 향상을 이끌어내며 상당한 성능 향상을 제공한다.
• 재표본화된 행동과 Q-값을 사용하는 서브스티튜트 OB 방법은 이론적 OB를 효과적으로 근사하며, 딥 러닝 프레임워크에 원활하게 통합할 수 있다.
• 경험적 결과는 OB 기반 알고리즘의 수렴 속도가 더 빠르며, 특히 고차원 다중 에이전트 환경에서 바닐라 MAPG 및 COMA보다 더 높은 수익을 달성함을 보여준다.
• 코드와 구현 사양이 공개되어 재현 가능성이 보장되며, 다른 MARL 알고리즘으로의 확장도 가능하다.