[论文解读] Learning Agent Communication under Limited Bandwidth by Message Pruning

Hangyu Mao, Zhengchao Zhang+3 more|arXiv (Cornell University)|Dec 3, 2019

Reinforcement Learning in Robotics参考文献 25被引用 10

一句话总结

本文提出一种门控机制，可在有限带宽条件下自适应地剪枝多智能体强化学习中的冗余信息，利用一种新颖的辅助任务识别有益信息。该方法在将通信量减少高达87%的同时保持或提升性能，并与多种现有深度强化学习框架（如ACML、CommNet和AMP）兼容。

ABSTRACT

Communication is a crucial factor for the big multi-agent world to stay organized and productive. Recently, Deep Reinforcement Learning (DRL) has been applied to learn the communication strategy and the control policy for multiple agents. However, the practical \emph{ extbf{limited bandwidth}} in multi-agent communication has been largely ignored by the existing DRL methods. Specifically, many methods keep sending messages incessantly, which consumes too much bandwidth. As a result, they are inapplicable to multi-agent systems with limited bandwidth. To handle this problem, we propose a gating mechanism to adaptively prune less beneficial messages. We evaluate the gating mechanism on several tasks. Experiments demonstrate that it can prune a lot of messages with little impact on performance. In fact, the performance may be greatly improved by pruning redundant messages. Moreover, the proposed gating mechanism is applicable to several previous methods, equipping them the ability to address bandwidth restricted settings.

研究动机与目标

• 解决多智能体强化学习中被忽视但至关重要的有限通信带宽问题。
• 提出一种系统性方法，在不降低团队性能的前提下减少信息量。
• 设计一种门控机制，根据信息对团队的益处自适应决定是否传输。
• 确保与现有深度强化学习方法兼容，以在多样化多智能体场景中实现带宽感知通信。
• 证明通过剪枝可提升性能，消除噪声或无益信息。

提出的方法

• 提出基础模型——演员-评论家信息学习者（ACML），整合了CommNet和AMP等先前方法的关键组件。
• 引入门控机制，学习根据信息效用决定是否开启或关闭通信门。
• 通过一种新颖的辅助任务训练门控机制，利用全局Q值差异评估信息的益处。
• 应用动态和固定阈值，围绕目标带宽限制控制信息剪枝。
• 采用全局通信组结构，门控在信息传输前进行剪枝，而非按每个智能体组分别处理。
• 将门控机制扩展至多种现有方法（如Gated-ACML、Gated-CommNet、Gated-AMP），以实现广泛适用性。

实验结果

研究问题

• RQ1 可学习的门控机制是否能在带宽受限的多智能体系统中有效减少信息量？
• RQ2 信息剪枝是否能提升或维持性能，特别是在去除噪声或冗余信息时？
• RQ3 该门控机制是否可泛化至不同深度强化学习架构和多智能体任务？
• RQ4 在带宽受限条件下，门控系统的性能与基线方法相比如何？
• RQ5 剪枝对现实场景启发任务中的信息分布与系统稳定性有何影响？

主要发现

• 门控机制在路由任务中成功剪枝了高达87.22%的信息，同时性能仅下降18.60%，表明剪枝效率极高。
• 在中等程度剪枝（如30%）场景下，性能最高提升4.88%，归因于噪声信息的去除。
• 在交通控制任务中，Gated-ACML优于ACML，通过保留关键路口的必要信息并剪枝冗余信息，有效降低了平均延迟。
• 该方法泛化良好：Gated-CommNet与Gated-AMP在各类任务中均表现出一致的信息分布趋势，证实了其广泛适用性。
• 即使在100%剪枝情况下，复杂路由任务中的性能仅下降65.42%，表明模型仅保留了最关键的少数信息。
• 相比之下，ATOc生成的信息量可达本方法的十倍，凸显了现有门控机制在带宽受限环境下的低效性。