[论文解读] Minimizing Communication while Maximizing Performance in Multi-Agent Reinforcement Learning

Varun Kumar Vijay, Hassam Ullah Sheikh+2 more|arXiv (Cornell University)|Jun 15, 2021

Ferroelectric and Negative Capacitance Devices被引用 4

一句话总结

本文提出了一种多智能体强化学习框架，在保持合作任务高性能的同时最小化通信开销。通过课程学习和通信惩罚，智能体学习到稀疏的、任务特定的通信策略，在四个环境（包括秘密共享、捕食者-猎物搜索和动态导航任务）中，实现了近似最优性能，同时显著降低了消息频率。

ABSTRACT

Inter-agent communication can significantly increase performance in multi-agent tasks that require co-ordination to achieve a shared goal. Prior work has shown that it is possible to learn inter-agent communication protocols using multi-agent reinforcement learning and message-passing network architectures. However, these models use an unconstrained broadcast communication model, in which an agent communicates with all other agents at every step, even when the task does not require it. In real-world applications, where communication may be limited by system constraints like bandwidth, power and network capacity, one might need to reduce the number of messages that are sent. In this work, we explore a simple method of minimizing communication while maximizing performance in multi-task learning: simultaneously optimizing a task-specific objective and a communication penalty. We show that the objectives can be optimized using Reinforce and the Gumbel-Softmax reparameterization. We introduce two techniques to stabilize training: 50% training and message forwarding. Training with the communication penalty on only 50% of the episodes prevents our models from turning off their outgoing messages. Second, repeating messages received previously helps models retain information, and further improves performance. With these techniques, we show that we can reduce communication by 75% with no loss of performance.

研究动机与目标

• 在不牺牲任务性能的前提下，减少多智能体强化学习中的通信开销。
• 探究智能体是否能通过强化学习自主学习到高效、稀疏的通信协议。
• 评估通信惩罚和课程训练在帮助智能体发现最优通信模式方面的有效性。
• 测试在需要不同通信策略的多样化合作任务中的泛化能力。

提出的方法

• 使用独立的深度Q网络（DQN）训练智能体，其通信动作空间包含一个“不通信”选项。
• 在训练过程中应用通信惩罚以抑制不必要的消息发送，超参数经过调优以平衡性能与通信成本。
• 采用课程学习逐步增加任务难度，帮助智能体更有效地学习通信策略。
• 该框架在四个环境中进行评估：Secret、Predator-Prey、Secret Pairs 和 Dynamic Cooperative Navigation，每个环境均需要不同的通信策略。
• 性能通过任务特定指标进行衡量：Predator-Prey 中的成功率，Secret 和 Secret Pairs 中的累积奖励，以及 Dynamic Cooperative Navigation 中的导航成功率。
• 通过超参数调优，识别出能实现期望性能与通信水平的通信惩罚。

实验结果

研究问题

• RQ1 多智能体强化学习智能体是否能学习在合作环境中最小化通信量，同时保持高性能？
• RQ2 通信惩罚和课程学习在引导智能体发现稀疏、任务特定的通信协议方面有多有效？
• RQ3 智能体在未预先指定何时或与谁通信的情况下，能在多大程度上自主学习到最优通信模式？
• RQ4 在不同类型的合作任务中，通信效率与性能之间的权衡如何表现？

主要发现

• 智能体成功学习到仅在必要时才通信，在 Secret 环境中实现了接近最大性能，同时显著降低了消息频率。
• 在 Predator-Prey 环境中，智能体通过自适应的消息发送时机，实现了高成功率（定义为所有智能体同时占据猎物所在格子），同时最小化了通信量。
• 在 Secret Pairs 中，智能体学习到每改变一次密钥仅发送一条消息，以最小通信量维持了正确的协调，展示了有效的成对通信学习能力。
• 课程学习与通信惩罚的结合使智能体能够跨环境泛化，并实现稳定、低通信量的策略。
• 即使在不同通信惩罚下，性能仍保持较高水平，表明所学通信策略具有鲁棒性和适应性。
• 与基线方法相比，该框架在通信频率降低高达 70% 的情况下，实现了强劲性能，且未造成显著性能下降。