[论文解读] Multi-Agent Deep Reinforcement Learning Under Constrained Communications
DG-MAPPO 是一种完全分布式的 MARL 框架,利用分布式图注意力网络通过多跳对等通信推断全局状态,在没有中心化训练的情况下达到或超过 CTDE 基线水平。
Centralized training with decentralized execution (CTDE) has been the dominant paradigm in multi-agent reinforcement learning (MARL), but its reliance on global state information during training introduces scalability, robustness, and generalization bottlenecks. Moreover, in practical scenarios such as adding/dropping teammates or facing environment dynamics that differ from the training, CTDE methods can be brittle and costly to retrain, whereas distributed approaches allow agents to adapt using only local information and peer-to-peer communication. We present a distributed MARL framework that removes the need for centralized critics or global information. Firstly, we develop a novel Distributed Graph Attention Network (D-GAT) that performs global state inference through multi-hop communication, where agents integrate neighbor features via input-dependent attention weights in a fully distributed manner. Leveraging D-GAT, we develop the distributed graph-attention MAPPO (DG-MAPPO) -- a distributed MARL framework where agents optimize local policies and value functions using local observations, multi-hop communication, and shared/averaged rewards. Empirical evaluation on the StarCraftII Multi-Agent Challenge, Google Research Football, and Multi-Agent Mujoco demonstrates that our method consistently outperforms strong CTDE baselines, achieving superior coordination across a wide range of cooperative tasks with both homogeneous and heterogeneous teams. Our distributed MARL framework provides a principled and scalable solution for robust collaboration, eliminating the need for centralized training or global observability. To the best of our knowledge, DG-MAPPO appears to be the first to fully eliminate reliance on privileged centralized information, enabling agents to learn and act solely through peer-to-peer communication.
研究动机与目标
- 由于全局状态对依赖的可扩展性与鲁棒性约束,动机在于将分布式 MARL 的需求超越 CTDE。
- 提出一种完全分布式的框架,仅使用本地观测与邻居通信来学习策略与价值函数。
- 引入 D-GAT 实现多跳状态推断,以及 DG-MAPPO 实现无中心化评估者的分布式策略优化。
- 在多样化的协作基准上展示该方法的鲁棒性与可扩展性。
- -show that limited-hop communication can match or surpass CTDE performance in large teams.
提出的方法
- 引入分布式图注意网络(D-GAT),每个智能体维护自己的注意力参数并执行多跳消息传递。
- 通过带有邻居平均的去中心化随机梯度下降更新 D-GAT 参数以促进共识(D-SGD)。
- 添加共识正则化项以对齐相邻智能体的表示。
- 通过将 D-GAT 推断的全局状态与本地观测整合,构建 DG-MAPPO,将其转化为每个智能体的 PPO 风格 actor-critic 更新。
- 使用本地观测与 D-GAT 输出拼接作为输入给每个智能体的 actor 与 critic,使用基于 GAE 的优势估计与截断 PPO 目标进行训练。
- 在 SMAC、Google Research Football 与 Multi-Agent MuJoCo 上进行评估,以与 CTDE 基线进行对比。

实验结果
研究问题
- RQ1完全分布式 MARL 是否能够在没有中心化训练或全局观测的情况下实现具有竞争力的协同?
- RQ2通过 D-GAT 的多跳对等通信在不同连通性下如何影响全局状态推断与策略学习?
- RQ3跳数对大规模团队的性能与通信开销有何影响?
- RQ4D-GAT 参数的平均/共识是否能提高异质智能体团队的稳定性与泛化能力?
主要发现
- DG-MAPPO 在 SMAC 的多样化任务上达到或超越 CTDE 基线(MAPPO、MAT-Dec、HAPPO)。
- DG-MAPPO 能扩展到较大规模的团队(多达 25 个智能体),在稀疏通信拓扑下也保持具有竞争力。
- 少量跳数(K≤N/2 或者通常为 1)即可带来性能提升,且开销边际化。
- 在 GFootball 与 Multi-Agent MuJoCo 中,DG-MAPPO 与 CTDE 基线相比仍具有竞争性回报,包括连续控制任务。
- 该方法在训练与执行阶段不依赖特权的中心化信息,通过本地观测与对等通信实现鲁棒协作。

阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。