[论文解读] Learning Multi-Agent Communication from Graph Modeling Perspective

Shengchao Hu, Li Shen+2 more|arXiv (Cornell University)|May 14, 2024

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出 CommFormer，一种新颖的多智能体强化学习框架，将通信架构视为可学习的图结构，通过连续松弛和注意力机制实现端到端优化。通过将通信结构学习建模为双层优化问题，CommFormer 在多种协作任务中表现出色，持续优于手动设计的架构，并接近全通信的性能上限。

ABSTRACT

In numerous artificial intelligence applications, the collaborative efforts of multiple intelligent agents are imperative for the successful attainment of target objectives. To enhance coordination among these agents, a distributed communication framework is often employed. However, information sharing among all agents proves to be resource-intensive, while the adoption of a manually pre-defined communication architecture imposes limitations on inter-agent communication, thereby constraining the potential for collaborative efforts. In this study, we introduce a novel approach wherein we conceptualize the communication architecture among agents as a learnable graph. We formulate this problem as the task of determining the communication graph while enabling the architecture parameters to update normally, thus necessitating a bi-level optimization process. Utilizing continuous relaxation of the graph representation and incorporating attention units, our proposed approach, CommFormer, efficiently optimizes the communication graph and concurrently refines architectural parameters through gradient descent in an end-to-end manner. Extensive experiments on a variety of cooperative tasks substantiate the robustness of our model across diverse cooperative scenarios, where agents are able to develop more coordinated and sophisticated strategies regardless of changes in the number of agents.

研究动机与目标

• 解决多智能体强化学习（MARL）中手动预定义通信架构的局限性，此类架构常因高方差和缺乏适应性导致次优性能。
• 克服大规模 MARL 中所有智能体之间全通信的低效与高成本，尤其是在带宽和计算资源受限的情况下。
• 实现动态、自适应的通信结构，使其在训练过程中演化，以支持更协调、可扩展的智能体协作。
• 将通信架构学习建模为双层优化问题，实现图结构与模型参数的联合优化。
• 在保持计算可行性与可扩展性的前提下，实现样本高效的端到端通信图训练，适用于不同数量的智能体。

提出的方法

• 使用离散图表示的连续松弛，将智能体之间的通信架构建模为可微分的、可学习的图结构。
• 将问题建模为双层优化：上层优化通信图结构，下层在固定图架构下训练智能体策略。
• 在图建模框架中集成可学习的注意力机制，以动态加权消息重要性，提升协作能力。
• 通过超参数 𝒮 控制通信稀疏性，将边数限制在 𝒮×N² 以内，确保带宽效率与可扩展性。
• 使用梯度下降联合优化通信图与策略参数，实现端到端训练，避免对候选架构进行离散搜索。
• 应用连续松弛，将离散图搜索转化为连续优化问题，使反向传播能够通过图结构进行。

实验结果

研究问题

• RQ1 可学习的图结构通信架构是否能在多智能体协作任务中超越手动预定义的通信拓扑？
• RQ2 通信图的稀疏性在不同 MARL 环境和智能体数量下如何影响性能？
• RQ3 通信结构与策略参数的端到端优化在多大程度上能提升 MARL 中的协作能力与可扩展性？
• RQ4 图表示的连续松弛是否能实现有效且高效的最优通信模式学习，而无需离散搜索？
• RQ5 所提出方法是否能在多样化协作任务中泛化，并在不同智能体数量下保持高性能？

主要发现

• 如图 4 所示，CommFormer 在多个 StarCraft II 微操控（SMAC）环境中的表现持续优于手动预定义的通信架构，证明其能够自主发现最优通信模式。
• 在复杂环境中，随着通信稀疏性（𝒮）的增加，性能提升，尤其在智能体数量增多时更为显著，表明高连通性对复杂任务的可扩展性至关重要。
• 在简单任务（如 1c3s5z）中，即使稀疏性较低（如每个智能体仅有一条通信链路），也能实现 100% 胜率，凸显该方法对任务复杂度的适应能力。
• 在允许无限制信息共享的场景中，CommFormer 接近全通信（全连接）的性能上限，表明其具备近乎最优的协作能力。
• 消融实验表明，随机预定义的架构会导致显著的性能波动，凸显自动化架构搜索的必要性。
• 图表示的连续松弛实现了有效、样本高效且端到端的训练，避免了离散架构搜索带来的计算负担。