[论文解读] A Visual Communication Map for Multi-Agent Deep Reinforcement Learning

Ngoc Duy Nguyen, Thanh Thi Nguyen+2 more|arXiv (Cornell University)|Jan 1, 2020

Reinforcement Learning in Robotics参考文献 50被引用 5

一句话总结

本文提出一种视觉通信图（VCM），通过将智能体状态表示为全局可见的视觉指示器，实现了可扩展的异构多智能体深度强化学习。将VCM与环境观测值整合进共享的卷积神经网络（ConvNet）中，显著提升了学习效率和鲁棒性，在三智能体工业场景中，性能相比标准A3C提升200%。

ABSTRACT

Deep reinforcement learning has been applied successfully to solve various real-world problems and the number of its applications in the multi-agent settings has been increasing. Multi-agent learning distinctly poses significant challenges in the effort to allocate a concealed communication medium. Agents receive thorough knowledge from the medium to determine subsequent actions in a distributed nature. Apparently, the goal is to leverage the cooperation of multiple agents to achieve a designated objective efficiently. Recent studies typically combine a specialized neural network with reinforcement learning to enable communication between agents. This approach, however, limits the number of agents or necessitates the homogeneity of the system. In this paper, we have proposed a more scalable approach that not only deals with a great number of agents but also enables collaboration between dissimilar functional agents and compatibly combined with any deep reinforcement learning methods. Specifically, we create a global communication map to represent the status of each agent in the system visually. The visual map and the environmental state are fed to a shared-parameter network to train multiple agents concurrently. Finally, we select the Asynchronous Advantage Actor-Critic (A3C) algorithm to demonstrate our proposed scheme, namely Visual communication map for Multi-agent A3C (VMA3C). Simulation results show that the use of visual communication map improves the performance of A3C regarding learning speed, reward achievement, and robustness in multi-agent problems.

研究动机与目标

• 解决在多智能体深度强化学习中实现大量异构智能体之间通信的挑战。
• 克服先前方法对智能体同质性要求或可扩展性受限的局限。
• 开发一种与任何深度强化学习算法兼容的通信机制。
• 提升在非平稳、随机多智能体环境中的学习速度、奖励获取能力及鲁棒性。

提出的方法

• 构建一个全局视觉通信图，将每个智能体的当前状态编码为所有智能体均可见的视觉指示器。
• 使用视觉特征（如颜色、形状、位置）表示智能体状态，形成共享且可感知的通信媒介。
• 将视觉通信图与环境状态输入共享参数的卷积神经网络（ConvNet）中，实现联合表征学习。
• 通过全连接网络和策略头，基于聚合的视觉与环境输入预测动作。
• 将VCM与异步优势演员评论家（A3C）算法集成，形成VMA3C框架。
• 实现去中心化、自监督的策略学习，使每个智能体利用共享视觉线索协调动作，而无需显式通信协议。

实验结果

研究问题

• RQ1 视觉通信图能否在多智能体深度强化学习中有效促进大量异构智能体之间的协作？
• RQ2 与标准A3C相比，视觉通信图在学习速度、最终性能和鲁棒性方面有何提升？
• RQ3 VCM框架在多大程度上可与特定强化学习算法解耦，同时保持有效性？
• RQ4 在存在噪声或延迟观测（错误率）等随机条件下，该方法表现如何？
• RQ5 VCM能否处理具有动态性和非平稳性的复杂现实世界多智能体任务？

主要发现

• 在双智能体牛奶工厂场景中，VMA3C在12小时训练后达到的标准A3C两倍以上的最大奖励。
• 在三智能体场景中，VMA3C达到900的峰值总奖励，而A3C在同一训练时长内仅达到300。
• VMA3C在2%至5%的误差率范围内均表现出稳健性能，即使在随机环境中也能维持高奖励。
• 视觉通信图显著加快了学习速度，并在双智能体和三智能体配置中均提升了策略收敛性。
• A3C在高误差率下性能下降，而VMA3C保持稳定高效，表明其对环境噪声具有更强的鲁棒性。
• 该方法成功实现了牛奶工厂环境中两台取料机器人和一台维修机器人同时运行，展示了其可扩展性与协调能力。