[论文解读] FCMNet: Full Communication Memory Net for Team-Level Cooperation in Multi-Agent Systems

Yutong Wang, Guillaume Sartoretti|arXiv (Cornell University)|Jan 28, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

FCMNet 是一种用于多智能体强化学习的可微分通信学习框架，采用方向性循环神经网络，使智能体能够交换多跳消息并学习共享的去中心化策略。在 StarCraft II 微操任务中，其性能优于当前最先进的基于通信的方法，并在消息丢失和通信混乱的情况下表现出鲁棒性，显示出在实际机器人应用中的潜力。

ABSTRACT

Decentralized cooperation in partially-observable multi-agent systems requires effective communications among agents. To support this effort, this work focuses on the class of problems where global communications are available but may be unreliable, thus precluding differentiable communication learning methods. We introduce FCMNet, a reinforcement learning based approach that allows agents to simultaneously learn a) an effective multi-hop communications protocol and b) a common, decentralized policy that enables team-level decision-making. Specifically, our proposed method utilizes the hidden states of multiple directional recurrent neural networks as communication messages among agents. Using a simple multi-hop topology, we endow each agent with the ability to receive information sequentially encoded by every other agent at each time step, leading to improved global cooperation. We demonstrate FCMNet on a challenging set of StarCraft II micromanagement tasks with shared rewards, as well as a collaborative multi-agent pathfinding task with individual rewards. There, our comparison results show that FCMNet outperforms state-of-the-art communication-based reinforcement learning methods in all StarCraft II micromanagement tasks, and value decomposition methods in certain tasks. We further investigate the robustness of FCMNet under realistic communication disturbances, such as random message loss or binarized messages (i.e., non-differentiable communication channels), to showcase FMCNet's potential applicability to robotic tasks under a variety of real-world conditions.

研究动机与目标

• 解决在通信通道不可靠的全局通信环境下，部分可观测多智能体系统中的团队级协作挑战。
• 开发一种通信学习框架，使智能体能够联合学习多跳通信协议和共享的去中心化策略。
• 确保在真实通信扰动（如消息丢失、二值化和随机传输顺序）下的鲁棒性。
• 通过使每个智能体在每个时间步都能按顺序接收并处理来自所有其他智能体的信息，提升全局协作能力。
• 在共享奖励和个体奖励的多智能体环境中，证明该方法的有效性。

提出的方法

• FCMNet 使用多个方向性循环神经网络（RNN）对智能体之间的消息进行编码和传输，隐藏状态和细胞状态作为通信信号。
• 每个智能体在每个时间步维护自身观察的自记忆，并以固定的多跳序列接收来自所有其他智能体的消息。
• 该架构在智能体之间共享权重，以支持联合训练并确保策略对称性，从而支持去中心化执行。
• 通信过程是可微分的，支持通过策略梯度方法进行端到端训练，采用集中训练与去中心化执行（CTDE）范式。
• 该框架支持多跳消息传递，使智能体能够随时间累积并推理来自所有队友的信息。
• 通过在训练和推理过程中引入消息二值化、随机消息丢失和随机传输顺序，对鲁棒性进行评估。

实验结果

研究问题

• RQ1 可微分通信学习框架是否能在全局通信不可靠的部分可观测多智能体环境中实现更优的团队级协作？
• RQ2 在复杂的微操任务中，FCMNet 相较于最先进的基于通信的方法和价值分解方法表现如何？
• RQ3 FCMNet 在真实通信扰动（如消息丢失和二值化消息）下，性能能保持到何种程度？
• RQ4 随机化消息传输顺序是否会影响 FCMNet 的训练稳定性或最终性能？
• RQ5 当通信存在噪声或不完整时，FCMNet 是否仍能学习到稳定且高性能的协作策略？

主要发现

• 在所有评估的 StarCraft II 微操任务中，FCMNet 的性能优于所有最先进的基于通信的强化学习方法。
• 在某些任务中，FCMNet 的性能可与价值分解方法相媲美，后者在协作式多智能体强化学习中以优异表现著称。
• 当消息丢失概率低于 3% 时，FCMNet 保持训练稳定且性能优异，收敛速度和最终回合长度均无退化。
• 当消息丢失超过 3.5% 时，训练变得不稳定，演员和评论家损失均无法收敛，表明存在性能崩溃的临界点。
• 随机化消息传输顺序不会降低性能，甚至可能因消息多样性增加而加速收敛。
• 在高达 3% 消息丢失条件下训练的智能体能够准确追踪并命中移动目标，而损失更高的智能体则难以维持精确的目标追踪。