[논문 리뷰] Is Centralized Training with Decentralized Execution Framework Centralized Enough for MARL?

Yihe Zhou, Shunyu Liu외 5명|arXiv (Cornell University)|2023. 05. 27.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

CADP를 도입하는 중앙 자문 및 분산 가지치기 프레임워크로, 중앙 학습 중 명시적 에이전트 자문을 가능하게 하고 분산 실행을 위한 의사소통을 점진적으로 가지치기함으로써 MARL 백본 전반에서 성능을 향상시킵니다.

ABSTRACT

Centralized Training with Decentralized Execution (CTDE) has recently emerged as a popular framework for cooperative Multi-Agent Reinforcement Learning (MARL), where agents can use additional global state information to guide training in a centralized way and make their own decisions only based on decentralized local policies. Despite the encouraging results achieved, CTDE makes an independence assumption on agent policies, which limits agents to adopt global cooperative information from each other during centralized training. Therefore, we argue that existing CTDE methods cannot fully utilize global information for training, leading to an inefficient joint-policy exploration and even suboptimal results. In this paper, we introduce a novel Centralized Advising and Decentralized Pruning (CADP) framework for multi-agent reinforcement learning, that not only enables an efficacious message exchange among agents during training but also guarantees the independent policies for execution. Firstly, CADP endows agents the explicit communication channel to seek and take advices from different agents for more centralized training. To further ensure the decentralized execution, we propose a smooth model pruning mechanism to progressively constraint the agent communication into a closed one without degradation in agent cooperation capability. Empirical evaluations on StarCraft II micromanagement and Google Research Football benchmarks demonstrate that the proposed framework achieves superior performance compared with the state-of-the-art counterparts. Our code will be made publicly available.

연구 동기 및 목표

• 전통적인 CTDE가 협력적 MARL에 대해 충분히 중앙집중화되어 있지 않은 이유를 제시합니다.
• 중앙 학습 중 에이전트 간 명시적 자문을 가능하게 하는 CADP를 제안합니다.
• 실행 시 정책이 가지치기 메커니즘을 통해 분산 형태를 유지하도록 보장합니다.
• 여러 MARL 백본과 벤치마크에 대한 CADP의 호환성을 입증합니다.

제안 방법

• 다른 에이전트의 인지와 v(자문)를 교차 주의(attention)를 사용해 집합적 의도 z로 집계하여 각 에이전트에 대해 명시적 에이전트 자문 메커니즘을 도입합니다.
• 로컬 정보와 집단 정보를 결합한 Q 값을 생성하기 위해 GRU 기반 로컬 기록 인코더와 MLP를 포함합니다.
• 다른 보기의 확신을 원-핫으로 강제하고 가지치기 손실(KL 발산)을 추가하여 타인 의존을 최소화하며 CADP(C)에서 CADP(D)로 점진적으로 전환하는 모델 자체 가지치기 프로세스를 구현합니다.
• 가치 분해(TD) 손실을 채택하고 QMIX, VDN, QPLEX, MAPPO 등과 같은 백본을 지원하여 정책 모듈 수준에서 CADP가 프레임워크에 독립적이도록 합니다.
• TD 손실과 임계 시간 이후 가지치기 손실을 포함하는 총 손실로 엔드-투-엔드 학습을 수행하여 분산화를 촉진합니다.
• CADP 학습 및 가지치기 프로세스를 설명하기 위한 의사코드와 시각화를 제공하며(부록 D 및 E).

실험 결과

연구 질문

• RQ1 도전적인 MARL 태스크에서 CADP가 전통적 CTDE 기준선보다 우수한가요?
• RQ2 학습 중 전역 정보를 사용하는 teacher-student CTDE 프레임워크보다 CADP가 우수한가요?
• RQ3 CADP가 다수의 가치 기반 및 정책 기반 MARL 백본과 호환되나요?
• RQ4 가지치기 메커니즘이 성능 저하 없이 중앙 자문에서 완전한 분산 실행으로 부드럽게 전이되도록 하나요?

주요 결과

방법	5m_vs_6m	회랑	3s5z_vs_3s6z
VDN (CTDE)	0.54 ± 0.09	0.65 ± 0.32	0.25 ± 0.18
VDN (CADP)	0.66 ± 0.07	0.72 ± 0.51	0.85 ± 0.20
QMIX (CTDE)	0.43 ± 0.13	0.70 ± 0.35	0.24 ± 0.36
QMIX (CADP)	0.68 ± 0.08	0.84 ± 0.03	0.93 ± 0.03
QPLEX (CTDE)	0.57 ± 0.13	0.20 ± 0.12	0.08 ± 0.11
QPLEX (CADP)	0.73 ± 0.04	0.37 ± 0.36	0.96 ± 0.02
MAPPO (CTDE)	0.85 ± 0.07	0.96 ± 0.03	0.35 ± 0.39
MAPPO (CADP)	0.97 ± 0.03	0.98 ± 0.02	0.90 ± 0.16

• CADP는 하드/혼합 StarCraft II(SMAC) 시나리오와 Google Research Football 벤치마크에서 CTDE 기준선 대비 지속적으로 성능을 향상시킵니다.
• CADP(C)(중앙화 모델)와 CADP(D)(분산 모델)는 세 가지 SMAC 시나리오에서 근접하거나 일치하는 성능을 달성하며 가지치기가 분산화 결과를 향상시킵니다.
• GRF 벤치마크에서 CADP는 QMIX를 크게 능가하고 교사-학생 지도가 효과적이지 않은 상황에서 강건성을 보입니다.
• 고찰 분석은 CADP의 이득이 VDN, QMIX, QPLEX 등의 가치 기반 방법과 MAPPO로 확산되는 것을 보여 프레임워크 일반성을 확인합니다.
• 가시 범위를 달리한 고찰에서도 CADP는 우수한 성능을 유지하고 분산 모델이 중앙화 성능에 수렴합니다.
• 타임스텝이 T를 초과할 때 가지치기 손실이 효과적이며 성능은 알파 값의 범위에 대해 강건합니다.