[论文解读] Learning Multi-agent Communication under Limited-bandwidth Restriction for Internet Packet Routing

Hangyu Mao, Zhibo Gong+3 more|arXiv (Cornell University)|Feb 26, 2019

Distributed Control Multi-Agent Systems参考文献 22被引用 11

一句话总结

本文在多智能体强化学习框架中提出一种门控机制，以在互联网分组路由的带宽受限条件下动态修剪无利润的消息。通过训练门控仅在通信有益时开启，该方法在性能损失极小的情况下将消息量减少了80%以上，在真实世界和基准任务中均优于当前最先进的深度强化学习（DRL）和基于规则的方法。

ABSTRACT

Communication is an important factor for the big multi-agent world to stay organized and productive. Recently, the AI community has applied the Deep Reinforcement Learning (DRL) to learn the communication strategy and the control policy for multiple agents. However, when implementing the communication for real-world multi-agent applications, there is a more practical limited-bandwidth restriction, which has been largely ignored by the existing DRL-based methods. Specifically, agents trained by most previous methods keep sending messages incessantly in every control cycle; due to emitting too many messages, these methods are unsuitable to be applied to the real-world systems that have a limited bandwidth to transmit the messages. To handle this problem, we propose a gating mechanism to adaptively prune unprofitable messages. Results show that the gating mechanism can prune more than 80% messages with little damage to the performance. Moreover, our method outperforms several state-of-the-art DRL-based and rule-based methods by a large margin in both the real-world packet routing tasks and four benchmark tasks.

研究动机与目标

• 解决现实世界多智能体系统中带宽受限通信的实际挑战，特别是在互联网分组路由中的应用。
• 克服现有DRL方法持续生成消息、无论其效用如何的局限性。
• 开发一种原则性且可学习的机制，以控制消息频率，同时保持任务性能。
• 实现可扩展且稳定的多智能体通信，适用于带宽受限环境的部署。

提出的方法

• 提出基于消息学习的演员-评论家（ACML）框架，统一整合基于DRL的通信与控制策略。
• 引入一种可学习的门控机制，根据消息对团队的预期收益决定是否发送。
• 通过一种新颖的辅助任务训练门控，该任务通过预期Q值的变化（ΔQ）来评估消息效用。
• 在推理过程中采用动态阈值策略，自适应地控制消息修剪率。
• 集成经验回放和目标网络以稳定训练，遵循DDPG风格的离策略学习。
• 使用消息效用的可微分近似优化门控，支持端到端训练。

实验结果

研究问题

• RQ1 可学习的门控机制能否在不降低性能的前提下有效减少多智能体通信中的消息量？
• RQ2 在真实世界路由任务的严格带宽约束下，该机制的性能表现如何？
• RQ3 该门控机制在多大程度上能修剪无利润消息，同时保持系统稳定性和收敛性？
• RQ4 在基准环境和真实世界路由环境中，该方法与当前最先进的DRL和基于规则的基线方法相比表现如何？

主要发现

• 门控机制成功修剪了超过80%的消息，性能损失低于7%，证明了其高效的修剪能力。
• 在95%的消息修剪阈值下，性能仅下降11.3%，表明大多数消息确实无利润。
• 当所有消息均被修剪（100%）时，性能下降61.52%，证实仅有极小部分消息（1.5%）对性能至关重要。
• GACML在收敛率方面优于其他DRL方法，尤其在复杂拓扑中表现出更优的训练稳定性。
• 在MLU（平均链路利用率）和奖励方面，GACML均优于MADDPG和基于规则的方法（如WCMP），且WCMP在中等复杂度拓扑中完全失效。
• 在合成实验中，门控值紧密跟随流量动态变化，表明模型已学会根据网络状况自适应调整通信。