[논문 리뷰] Revisiting Some Common Practices in Cooperative Multi-Agent Reinforcement Learning

Wei Fu, Chao Yu외 3명|arXiv (Cornell University)|2022. 06. 15.

Reinforcement Learning in Robotics인용 수 13

한 줄 요약

이 논문은 협동적 다중에이전트 강화학습에서 흔히 쓰이는 두 가지 관행인 가치 분해와 파라미터 공유가 다중 모달 환경에서 실패할 수 있음을 도전하며, 에이전트별 또는 순차적 정책을 사용하는 최적화 기반 방법을 제안한다. 이는 스타크래프트와 구글 리서치 풋볼과 같은 복잡한 환경에서 성능 향상과 잠재적인 협업 행동을 보여준다.

ABSTRACT

Many advances in cooperative multi-agent reinforcement learning (MARL) are based on two common design principles: value decomposition and parameter sharing. A typical MARL algorithm of this fashion decomposes a centralized Q-function into local Q-networks with parameters shared across agents. Such an algorithmic paradigm enables centralized training and decentralized execution (CTDE) and leads to efficient learning in practice. Despite all the advantages, we revisit these two principles and show that in certain scenarios, e.g., environments with a highly multi-modal reward landscape, value decomposition, and parameter sharing can be problematic and lead to undesired outcomes. In contrast, policy gradient (PG) methods with individual policies provably converge to an optimal solution in these cases, which partially supports some recent empirical observations that PG can be effective in many MARL testbeds. Inspired by our theoretical analysis, we present practical suggestions on implementing multi-agent PG algorithms for either high rewards or diverse emergent behaviors and empirically validate our findings on a variety of domains, ranging from the simplified matrix and grid-world games to complex benchmarks such as StarCraft Multi-Agent Challenge and Google Research Football. We hope our insights could benefit the community towards developing more general and more powerful MARL algorithms. Check our project website at https://sites.google.com/view/revisiting-marl.

연구 동기 및 목표

• 다중 모달 보상 구조 하에서 협동적 다중에이전트 강화학습에서 가치 분해와 파라미터 공유의 한계를 분석하기 위해.
• 다양한 최적 해가 존재하는 상황에서 최적화 기반 방법이 가치 기반 방법보다 우월한 이유를 탐구하기 위해.
• 협동 마르코프 게임에서 효과적인 최적화 기반 알고리즘을 구현하기 위한 실용적 지침을 제공하기 위해.
• 스마트 컨트롤 애니메이션 컨트롤(SMAC) 및 GRF와 같은 복잡한 환경에서 고도의 정책 표현을 통해 새로운 협업 행동을 발견하고 검증하기 위해.

제안 방법

• 2x2 XOR 게임을 이론적으로 분석하여 가치 분해가 대칭적인 최적 해를 표현할 수 없음을 입증한다.
• 다중에이전트 환경에서 수렴성과 최종 보상 향상을 위해 개별(에이전트별) 정책을 제안한다.
• 최소한의 계산 오버헤드로 다중 모달 행동을 포착할 수 있는 어텐션 기반 순차적 정책 표현을 도입한다.
• 커리큘럼 학습과 내재적 호기심 같은 훈련 기법을 활용해 순차적 정책의 훈련 안정성을 높인다.
• 간단한 게임(XOR, 브리지), SMAC, Google Research Football에서 성능 및 잠재적 행동을 비교하기 위해 방법을 검증한다.
• 에이전트별 및 순차적 정책을 갖춘 다중에이전트 프oks프록시 페널티 최적화(PPO)를 벤치마크 환경에 적용한다.

실험 결과

연구 질문

• RQ1 다중 모달 협동 환경에서 가치 분해가 최적 정책을 표현하지 못할 수 있는가?
• RQ2 에이전트별 정책을 갖춘 최적화 기반 방법이 특정 MARL 벤치마크에서 가치 기반 방법보다 뛰어난 이유는 무엇인가?
• RQ3 순차적 정책 표현은 기존의 독립적 정책에서는 발견되지 않는 새로운 협업 행동을 발견할 수 있는가?
• RQ4 최적화 기반 MARL에서 샘플 효율성과 성능을 향상시키기 위한 실용적 설계 선택은 무엇인가?
• RQ5 복잡한 환경에서 에이전트별 정책과 순차적 정책은 다양한 전략과 고보상 전략을 학습하는 데 어떻게 비교되는가?

주요 결과

• IGM 원칙의 제약로 인해 가치 분해는 2x2 XOR 게임의 보상 구조를 표현하지 못하며, 이는 대칭적인 최적 해가 두 개인 경우에 해당한다.
• 에이전트별 정책을 갖춘 최적화 기반 방법은 XOR 게임에서 최적 해로 수렴함을 증명하며, 다중 모달 설정에서 가치 기반 방법보다 뛰어난 성능을 보인다.
• 순차적 정책 학습은 GRF에서 '티키-타카' 패assing 전략과 SMAC에서 번갈아가며 공격하는 전략과 같은 복잡한 협업 행동을 발견한다. 이러한 행동은 독립적 정책에서는 존재하지 않는다.
• SMAC와 GRF에서 에이전트별 정책을 사용하면 표준 PPO보다 최종 보상과 수렴 속도가 향상되어 실용적 이점을 입증한다.
• 순차적 정책는 더 높은 수준의 협업과 더 효과적인 에이전트 공간 분포를 달성하며, 히트맵 비교를 통해 이를 입증한다. 이는 더 효과적인 팀 전략을 이끈다.
• 비록 순차적 정책가 더 표현력이 뛰어나고 새로운 행동을 발견할 수 있지만, 개별 정책보다 수렴 속도가 느리므로 표현력과 샘플 효율성 사이의 상충 관계가 있음을 시사한다.