[论文解读] Learning Structured Communication for Multi-agent Reinforcement Learning

Junjie Sheng, Xiangfeng Wang+6 more|arXiv (Cornell University)|Feb 11, 2020

Reinforcement Learning in Robotics被引用 7

一句话总结

该论文提出了一种新型分层通信框架——结构化通信学习（LSC），用于多智能体强化学习，通过基于聚类的路由协议动态形成智能体分组，并利用分层图神经网络实现高效的组内与组间信息传递。LSC在大规模多智能体强化学习环境中实现了卓越的通信效率、可扩展性与协作能力，在竞争性和合作性任务中均优于现有方法，战斗场景下的全局成功率达到最高1.60。

ABSTRACT

This work explores the large-scale multi-agent communication mechanism under a multi-agent reinforcement learning (MARL) setting. We summarize the general categories of topology for communication structures in MARL literature, which are often manually specified. Then we propose a novel framework termed as Learning Structured Communication (LSC) by using a more flexible and efficient communication topology. Our framework allows for adaptive agent grouping to form different hierarchical formations over episodes, which is generated by an auxiliary task combined with a hierarchical routing protocol. Given each formed topology, a hierarchical graph neural network is learned to enable effective message information generation and propagation among inter- and intra-group communications. In contrast to existing communication mechanisms, our method has an explicit while learnable design for hierarchical communication. Experiments on challenging tasks show the proposed LSC enjoys high communication efficiency, scalability, and global cooperation capability.

研究动机与目标

• 为解决多智能体强化学习（MARL）中固定且手动设计的通信拓扑结构（如全连接、星型、树型及邻近结构）的局限性。
• 通过实现动态、可学习的分层通信结构，提升大规模MARL中的通信效率与信息理解能力。
• 通过自适应的智能体分组与分层信息传播，增强复杂MARL环境中的全局协作与可扩展性。
• 开发一个统一框架，以端到端可微的方式整合通信拓扑学习与策略学习。

提出的方法

• 基于聚类的路由协议（CBRP）通过学习通信权重，动态形成分层智能体分组，实现自适应的高层智能体选择。
• 采用分层图神经网络（GNN）建模组内与组间的信息传递，实现有效信息聚合。
• 通过辅助强化学习任务端到端训练通信权重策略，使系统能够自组织出最优通信拓扑。
• 通信结构显式学习而非预定义，支持在不同回合中灵活、可扩展且高效的拓扑自适应。
• 该框架支持组间（全局）与组内（局部）通信，平衡全局感知与细粒度协调。
• 方法实现端到端，通信拓扑与策略通过策略梯度方法联合训练。

实验结果

研究问题

• RQ1 可学习的分层通信拓扑是否能提升大规模多智能体强化学习中的通信效率与可扩展性？
• RQ2 通过路由协议实现的动态智能体分组在MARL中对全局协作与策略性能有何影响？
• RQ3 与固定拓扑相比，通过GNN实现的分层信息传递在多大程度上提升了信息理解与可访问性？
• RQ4 所提出的框架是否能在竞争性和合作性MARL环境中均优于现有通信机制？

主要发现

• 在64×64战斗场景中，LSC的平均奖励达到1.13，优于LSC-star（1.04）、LSC-nbor（0.94）和IDQN（0.89）。
• LSC实现了最高的成功击杀数（62.9）与1.60的全局成功率，显著优于基线方法。
• 在合作性分散任务中，LSC获得最高的平均奖励-54.6，成功抵达目标地标156次，仅发生13次过载，优于所有基线方法。
• CBRP子模块将高层智能体密度从密集簇状结构降低至仅三个智能体，提升了通信效率并减少了冗余。
• 由于更优的全局信息共享与协调，LSC收敛更快且性能优于星型、邻近及IDQN基线方法。
• LSC所实现的分层结构在保持细粒度局部协调的同时，实现了有效的全局通信，从而展现出更优的可扩展性与鲁棒性。