[论文解读] Context-Aware Sparse Deep Coordination Graphs

Tonghan Wang, Liang Zeng+4 more|arXiv (Cornell University)|Jun 5, 2021

Advanced Graph Neural Networks参考文献 34被引用 6

一句话总结

本文提出上下文感知稀疏协作图（CASEC），一种通过利用收益函数方差来指导边选择，从而学习动态稀疏协作拓扑的方法。通过在理论上将低收益方差与稳定动作选择相联系，并引入动作表征网络以减少估计误差，CASEC在基准任务（包括StarCraft II微操和新的MACO基准）上实现了高达50%的通信成本降低，并在性能上优于密集和静态图。

ABSTRACT

Learning sparse coordination graphs adaptive to the coordination dynamics among agents is a long-standing problem in cooperative multi-agent learning. This paper studies this problem and proposes a novel method using the variance of payoff functions to construct context-aware sparse coordination topologies. We theoretically consolidate our method by proving that the smaller the variance of payoff functions is, the less likely action selection will change after removing the corresponding edge. Moreover, we propose to learn action representations to effectively reduce the influence of payoff functions' estimation errors on graph construction. To empirically evaluate our method, we present the Multi-Agent COordination (MACO) benchmark by collecting classic coordination problems in the literature, increasing their difficulty, and classifying them into different types. We carry out a case study and experiments on the MACO and StarCraft II micromanagement benchmark to demonstrate the dynamics of sparse graph learning, the influence of graph sparseness, and the learning performance of our method. (The MACO benchmark and codes are publicly available at https://github.com/TonghanWang/CASEC-MACO-benchmark.)

研究动机与目标

• 为解决在动态多智能体环境中学习自适应、稀疏协作图的挑战。
• 在保持或提升合作多智能体强化学习性能的同时，降低通信开销。
• 缓解由于收益函数估计误差导致的稀疏图学习中的不稳定性。
• 开发一个用于评估跨多样化协作问题类型的协作方法的基准。
• 证明与密集、静态拓扑相比，稀疏性可提升协作效率和性能。

提出的方法

• 使用成对收益函数的方差作为指标，以确定在协作图中保留哪些边，方差越低表示移除该边的影响越小。
• 采用理论证明表明，较低的收益方差与在边被移除后贪婪动作选择发生变化的可能性降低相关。
• 引入动作表征网络以解耦效用与收益学习，降低在稀疏拓扑中对估计误差的敏感性。
• 在稀疏图上应用Max-Sum算法进行分布式联合动作选择，实现高效的讯息传递。
• 固定通信阈值以控制稀疏性，消融研究探索了训练过程中自适应阈值的使用。
• 提出MACO基准，一个由经典任务衍生的600多个协作问题的集合，具有更高的难度，并被划分为6种类型。

实验结果

研究问题

• RQ1 收益函数方差能否作为构建上下文感知稀疏协作图的可靠指标？
• RQ2 图的稀疏性如何影响多智能体协作中联合动作选择的最优性和稳定性？
• RQ3 动作表征学习能否降低收益函数估计误差对稀疏图构建的影响？
• RQ4 所提出方法是否在性能和通信成本上优于密集或静态协作图？
• RQ5 该方法能否在多样化协作问题类型（包括复杂、大规模环境）上实现泛化？

主要发现

• 与密集协作图相比，CASEC将通信成本降低了约50%，同时保持或提升了性能。
• 在MACO基准上，稀疏图上的Max-Sum算法在约95%的情况下选择了最优动作，显著优于全连接图。
• 在StarCraft II微操任务中，CASEC在30个传感器下捕获了约40个目标，而DCG未能扫描到任何目标，展现出更优的可扩展性。
• 在更大规模的Aloha设置中（20个智能体），CASEC维持了通信（110条消息），而DCG未发送任何消息，凸显其在规模上的鲁棒性。
• 自适应阈值方法提升了最终性能，但减缓了初始学习速度，表明动态稀疏性控制存在权衡。
• 理论分析证实，较低的收益方差意味着在边被移除后动作选择发生变化的风险更低，从而为基于方差的边选择策略提供了理论依据。