[논문 리뷰] More Centralized Training, Still Decentralized Execution: Multi-Agent Conditional Policy Factorization

Jiangxing Wang, Deheng Ye외 1명|arXiv (Cornell University)|2022. 09. 26.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 다중 에이전트 조건부 정책 분해(MACPF)를 제안하며, 중앙집중적 훈련을 가능하게 하면서도 분산 실행을 유지하기 위해 에이전트 간 의존성을 모델링하는 방법을 제공한다. 조건부로 분해된 정책 구조를 통해 MACPF는 SMAC 및 MPE와 같은 협동적 다중에이전트强化학습(MARL) 환경에서 보다 빠른 수렴 속도와 우수한 성능을 달성하며, 최적의 연합 정책 성능을 실현한다. 이는 조건부로 분해된 독립 정책과 보정 항을 포함하는 의존적 국소 정책을 학습함으로써 달성된다.

ABSTRACT

In cooperative multi-agent reinforcement learning (MARL), combining value decomposition with actor-critic enables agents to learn stochastic policies, which are more suitable for the partially observable environment. Given the goal of learning local policies that enable decentralized execution, agents are commonly assumed to be independent of each other, even in centralized training. However, such an assumption may prohibit agents from learning the optimal joint policy. To address this problem, we explicitly take the dependency among agents into centralized training. Although this leads to the optimal joint policy, it may not be factorized for decentralized execution. Nevertheless, we theoretically show that from such a joint policy, we can always derive another joint policy that achieves the same optimality but can be factorized for decentralized execution. To this end, we propose multi-agent conditional policy factorization (MACPF), which takes more centralized training but still enables decentralized execution. We empirically verify MACPF in various cooperative MARL tasks and demonstrate that MACPF achieves better performance or faster convergence than baselines. Our code is available at https://github.com/PKU-RL/FOP-DMAC-MACPF.

연구 동기 및 목표

• 기존 MARL 방법들이 훈련 중에 에이전트 간 독립성을 가정함으로써 연합 정책의 표현력이 제한되고 전역 최적해에 수렴하지 못하는 한계를 해결하기 위해.
• 정책 학습 중에 에이전트 간 의존성을 명시적으로 모델링함으로써 더 중앙집중적인 훈련을 가능하게 하고, 연합 정책 품질을 향상시키기 위해.
• 의존적 연합 정책의 성능을 유지할 수 있도록 독립 정책을 유도함으로써 분산 실행을 보존하기 위해.
• 복잡한 협동 환경에서 훈련 중에 에이전트 간 의존성을 도입할 경우 성능 향상과 수렴 속도 향상이 이루어지는지 경험적으로 검증하기 위해.

제안 방법

• 중앙집중적 훈련 중에 체인 규칙 기반 의존성 구조를 사용하여 최적의 연합 정책을 다중에이전트 조건부 정책 분해(MACPF) 방식으로 분해한다.
• 연합 정책을 독립적 국소 정책과 의존성 보정 정책으로 조건부로 분해함으로써 분산 실행을 가능하게 한다.
• FOP와 다름없이 믹서 네트워크를 활용한 소프트 정책 반복을 적용하여, 확률의 체인 규칙 기반으로 연합 Q-값을 분해한다.
• 이론적으로 최적 성능을 달성하는 임의의 의존적 연합 정책에 대해, 동일한 기대 수익을 유지하는 등가의 독립적 연합 정책이 존재함을 증명한다.
• 이중 스트림 아키텍처를 사용한다: 하나는 중앙집중적 훈련을 위한 의존 정책 학습, 다른 하나는 분산 실행을 위한 독립 정책 학습.
• 액터-크리틱 기반 가치 분해 프레임워크에 적용하며, 부분 관찰 가능한 환경에서 확률적 정책 학습을 보장하기 위해 최대 엔트로피 목표를 활용한다.

실험 결과

연구 질문

• RQ1 중앙집중적 훈련 중에 에이전트 간 의존성을 모델링하면 협동적 MARL에서 더 나은 연합 정책 최적화가 가능한가?
• RQ2 중앙집중적이고 의존적인 연합 정책과 동일한 최적 성능을 달성할 수 있는 분산 정책이 가능한가?
• RQ3 훈련 중에 에이전트 간 의존성을 도입하면 복잡한 협동 환경에서 수렴 속도와 최종 성능이 향상되는가?
• RQ4 조건부 분해를 통해 유도된 독립 정책이 의존적 연합 정책의 성능을 재현할 수 있는가?
• RQ5 MACPF는 FOP, QMIX, QPLEX, MAPPO와 같은 최첨단 기준 방법들과 비교해 승리율과 훈련 안정성 측면에서 어떻게 성과를 내는가?

주요 결과

• MACPF는 SMAC의 18개 맵 중 16개에서 FOP, QMIX, QPLEX, MAPPO를 능가하며, 18개 맵 중 16개에서 최고 기준 방법과 동일하거나 높은 승리율을 기록한다.
• 도전적인 'corridor' 맵에서 MACPF는 약 70%의 승리율을 기록했고, 다른 가치 분해 알고리즘들은 의미 있는 정책을 학습하지 못했다.
• MPE 벤치마크에서 MACPF는 간단한 스프레드 환경에서 평균 보상 -118.24 ± 2.74를 기록했으며, QMIX(-145.93 ± 21.09)와 FOP(-125.19 ± 5.42)를 크게 앞서며 유의미한 성능 향상을 보였다.
• 제거 실험 결과, MACPF의 성능 향상은 의존성 모델링 덕분임을 확인했으며, MACPF_CONTROL(의존 정책 없음)는 모든 4개의 SMAC 맵에서 MACPF보다 열등한 성능을 보였다.
• 그림 10에서 보듯이, MACPF의 독립적 국소 정책은 전체 훈련 과정에서 의존적 연합 정책과 동일한 성능을 기록하며 이론적 등가성을 검증했다.
• 하드 및 슈퍼하드 SMAC 맵에서 MACPF는 기준 방법들보다 더 빠른 수렴 속도를 보였으며, 특히 시야 범위가 제한되고 동료 정보가 누락된 'myopic' 변형에서 더 큰 성능 격차를 보였다.