[논문 리뷰] Multi-Agent Deep Reinforcement Learning Under Constrained Communications
DG-MAPPO는 분산 그래프 어텐션 네트워크를 활용하여 다중 홉 피어 커뮤니케이션으로 글로벌 상태를 추론하는 완전 분산 MARL 프레임워크로, 중앙 집중식 학습 없이 CTDE 벤치마크와 동등하거나 그 이상을 달성합니다.
Centralized training with decentralized execution (CTDE) has been the dominant paradigm in multi-agent reinforcement learning (MARL), but its reliance on global state information during training introduces scalability, robustness, and generalization bottlenecks. Moreover, in practical scenarios such as adding/dropping teammates or facing environment dynamics that differ from the training, CTDE methods can be brittle and costly to retrain, whereas distributed approaches allow agents to adapt using only local information and peer-to-peer communication. We present a distributed MARL framework that removes the need for centralized critics or global information. Firstly, we develop a novel Distributed Graph Attention Network (D-GAT) that performs global state inference through multi-hop communication, where agents integrate neighbor features via input-dependent attention weights in a fully distributed manner. Leveraging D-GAT, we develop the distributed graph-attention MAPPO (DG-MAPPO) -- a distributed MARL framework where agents optimize local policies and value functions using local observations, multi-hop communication, and shared/averaged rewards. Empirical evaluation on the StarCraftII Multi-Agent Challenge, Google Research Football, and Multi-Agent Mujoco demonstrates that our method consistently outperforms strong CTDE baselines, achieving superior coordination across a wide range of cooperative tasks with both homogeneous and heterogeneous teams. Our distributed MARL framework provides a principled and scalable solution for robust collaboration, eliminating the need for centralized training or global observability. To the best of our knowledge, DG-MAPPO appears to be the first to fully eliminate reliance on privileged centralized information, enabling agents to learn and act solely through peer-to-peer communication.
연구 동기 및 목표
- 글로벌 상태 의존의 확장성 및 강건성 제약으로 인해 CTDE를 넘어선 분산 MARL의 필요성을 고무한다.
- 로컬 관찰 및 이웃 간 통신만을 사용하여 정책과 가치 함수를 학습하는 완전 분산 프레임워크를 제안한다.
- 다중 홉 상태 추론을 위한 D-GAT를 도입하고 중앙 집중식 비평가 없이 분산 정책 최적화를 위한 DG-MAPPO를 제시한다.
- 다양한 협력 벤치마크에서 접근법의 강건성과 확장성을 입증한다.
- 대규모 팀에서 제한된 홉 통신이 CTDE 성능에 필적하거나 이를 능가할 수 있음을 보인다.
제안 방법
- 각 에이전트가 자체 주의 매개변수를 보유하고 다중 홉 메시지 전달을 수행하는 Distributed Graph Attention Networks (D-GAT)을 도입한다.
- 합의를 촉진하기 위해 이웃 평균화를 사용한 분산 확률적 경사하강법(D-SGD)으로 D-GAT 매개변수를 업데이트한다.
- 인접 에이전트의 표현을 정렬하기 위한 합의 규제 항을 추가한다.
- D-GAT 추정 글로벌 상태를 로컬 관찰과 통합하여 에이전트별 PPO 스타일의 액터-크리틱 업데이트를 통해 DG-MAPPO를 구축한다.
- 로컬 관찰과 D-GAT 출력 값을 연결한 것을 에이전트별 액터와 크리틱의 입력으로 사용하고, GAE 기반 어드밴티지와 클립된 PPO 목적함수로 학습한다.
- CTDE 벤치마크와의 비교를 위해 SMAC, Google Research Football, 및 Multi-Agent MuJoCo에서 평가하여 CTDE 벤치라인과 비교한다.

실험 결과
연구 질문
- RQ1완전 분산 MARL이 중앙 집중식 학습이나 글로벌 관측 가능성 없이도 경쟁력 있는 협조를 달성할 수 있는가?
- RQ2다중 홉 피어 커뮤니케이션(D-GAT)을 통해 연결성 변화 하에서 글로벌 상태 추론과 정책 학습에 어떤 영향을 미치는가?
- RQ3대규모 팀에서 홉 수가 성능과 통신 오버헤드에 미치는 영향은 무엇인가?
- RQ4에이전트 간 이질적인 팀에서 D-GAT 매개변수의 평균화/합의가 안정성 및 일반화에 도움이 되는가?
주요 결과
- DG-MAPPO는 SMAC에서 다양한 작업에 대해 CTDE 벤치마크(MAPPO, MAT-Dec, HAPPO)와 동등하거나 그 이상이다.
- DG-MAPPO는 최대 25개의 에이전트로 큰 팀으로 확장되며 희소한 통신 토폴로지에서도 경쟁력을 유지한다.
- 작은 홉 수(K가 N/2까지 또는 보통 1 정도로 충분)에 따라 성능이 향상되며 오버헤드는 미미하다.
- GFootball 및 Multi-Agent MuJoCo에서 DG-MAPPO는 연속 제어 작업을 포함하여 CTDE 벤치마크에 비해 경쟁력 있는 수익을 달성한다.
- 이 접근법은 학습 및 실행 중 특권적인 중앙 집중식 정보 의존성을 제거하여 로컬 관찰 및 피어 투 피어 커뮤니케이션으로 강건한 협조를 가능하게 한다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.