[论文解读] Event-Triggered Multi-agent Reinforcement Learning with Communication under Limited-bandwidth Constraint

Guangzheng Hu, Yuanheng Zhu+3 more|arXiv (Cornell University)|Oct 10, 2020

Reinforcement Learning in Robotics参考文献 36被引用 5

一句话总结

该论文提出事件触发通信网络（ETCNet），一种多智能体强化学习框架，通过仅在必要时触发消息传输来减少带宽使用，采用基于惩罚的带宽阈值约束马尔可夫决策过程。ETCNet在保持合作性能的同时显著降低了带宽消耗，在有限带宽约束下，其通信效率和任务性能均优于现有方法。

ABSTRACT

Communicating with each other in a distributed manner and behaving as a group are essential in multi-agent reinforcement learning. However, real-world multi-agent systems suffer from restrictions on limited-bandwidth communication. If the bandwidth is fully occupied, some agents are not able to send messages promptly to others, causing decision delay and impairing cooperative effects. Recent related work has started to address the problem but still fails in maximally reducing the consumption of communication resources. In this paper, we propose Event-Triggered Communication Network (ETCNet) to enhance the communication efficiency in multi-agent systems by sending messages only when necessary. According to the information theory, the limited bandwidth is translated to the penalty threshold of an event-triggered strategy, which determines whether an agent at each step sends a message or not. Then the design of the event-triggered strategy is formulated as a constrained Markov decision problem, and reinforcement learning finds the best communication protocol that satisfies the limited bandwidth constraint. Experiments on typical multi-agent tasks demonstrate that ETCNet outperforms other methods in terms of the reduction of bandwidth occupancy and still preserves the cooperative performance of multi-agent systems at the most.

研究动机与目标

• 为解决多智能体强化学习中带宽受限通信的挑战，其中过度通信导致延迟并损害合作性能。
• 设计一种通信协议，在不牺牲合作性能的前提下最小化带宽使用。
• 将带宽约束形式化为约束马尔可夫决策过程（CMDP）框架中的惩罚阈值，实现高效通信的端到端学习。
• 使智能体能够基于实际信息共享需求决定何时通信，而非依赖固定或基于观测的调度。

提出的方法

• 将带宽限制在约束马尔可夫决策过程（CMDP）中数学建模为惩罚阈值，将网络约束转化为可学习的优化目标。
• 引入事件触发门控策略，根据对合作的潜在收益与带宽使用成本的权衡来决定是否发送消息。
• 通过CMDP的拉格朗日松弛方法进行强化学习训练，平衡合作奖励与带宽惩罚。
• 智能体的策略网络整合了记忆化消息，以在部分可观测环境下维持上下文，提升决策质量。
• 采用深度强化学习进行端到端训练，门控策略可动态适应环境变化和通信需求。
• 在合作导航和捕食者-猎物任务上评估该方法，与SchedNet、Gated-ACML和Message-Dropout在相同带宽约束下进行对比。

实验结果

研究问题

• RQ1 如何在严格带宽约束下实现多智能体强化学习中的高效通信？
• RQ2 事件触发通信能否在保持或提升合作性能的同时减少带宽使用？
• RQ3 在有限带宽下，通信频率与合作质量之间的最优权衡是什么？
• RQ4 将过去消息的记忆整合进来，如何影响事件触发通信的性能与效率？
• RQ5 强化学习在多大程度上能够学习到尊重显式带宽约束的有效通信协议？

主要发现

• 与基线方法相比，ETCNet显著降低了带宽消耗，在580 bit/s和1200 bit/s带宽约束下，消息传输概率分别为31.7%和55.7%。
• 在合作导航任务中，ETCNet在580 bit/s带宽下实现了52.78±17.71的平均回报，优于SchedNet（54.06±13.14）和Message-Dropout（91.385±13.94），在性能与效率方面均表现更优。
• 消融实验表明，若从门控策略中移除记忆化消息，将导致消息频率上升且性能下降，证实记忆在维持高效通信中的重要性。
• 在智能体策略中移除记忆化消息导致合作性能近乎完全崩溃，表明记忆对于维持上下文和决策质量至关重要。
• ETCNet表明，仅在对合作产生实际影响时才发送消息——即基于实际需求而非观测或固定频率——可实现比基于观测或固定速率通信更优的带宽利用率。
• 学习曲线显示，较低带宽导致消息传输次数减少但评估性能更差，证实充分的通信对合作至关重要。