[论文解读] Heterogeneous Multi-Agent Reinforcement Learning for Unknown Environment Mapping

Ceyer Wakilpoor, Patrick Martin+2 more|arXiv (Cornell University)|Oct 6, 2020

Reinforcement Learning in Robotics参考文献 13被引用 14

一句话总结

本文提出EMAC，一种异构多智能体强化学习算法，通过新颖的演员-评论家框架（采用固定长度观测编码和三元组学习损失），实现未知环境中去中心化、协作式的全覆盖。EMAC在传统路径规划与独立强化学习基线方法中表现更优，展现出对湍流、通信延迟、智能体掉线等干扰的鲁棒性，并具备在更大环境和多样化团队配置下的可扩展性。

ABSTRACT

Reinforcement learning in heterogeneous multi-agent scenarios is important for real-world applications but presents challenges beyond those seen in homogeneous settings and simple benchmarks. In this work, we present an actor-critic algorithm that allows a team of heterogeneous agents to learn decentralized control policies for covering an unknown environment. This task is of interest to national security and emergency response organizations that would like to enhance situational awareness in hazardous areas by deploying teams of unmanned aerial vehicles. To solve this multi-agent coverage path planning problem in unknown environments, we augment a multi-agent actor-critic architecture with a new state encoding structure and triplet learning loss to support heterogeneous agent learning. We developed a simulation environment that includes real-world environmental factors such as turbulence, delayed communication, and agent loss, to train teams of agents as well as probe their robustness and flexibility to such disturbances.

研究动机与目标

• 开发一种去中心化的多智能体强化学习方法，用于在动态、危险场景中对未知环境进行全覆盖。
• 解决在协作覆盖任务中，具有不同传感器载荷的异构智能体训练的挑战。
• 提升对现实世界环境干扰（如通信延迟、风湍流、智能体掉线）的鲁棒性。
• 提升多智能体策略在环境规模和团队构成增加时的可扩展性。
• 通过新型基于像素的状态表示与固定长度嵌入架构，实现高效、低重叠的协作覆盖。

提出的方法

• EMAC采用多智能体演员-评论家框架，使用共享编码网络将可变长度的智能体观测转化为固定长度嵌入。
• 在嵌入空间中应用三元组学习损失，吸引对同一全局状态的同步视图，排斥时间上接近但功能不同的视图。
• 状态表示结合近场与远场视觉观测，提升对环境的感知能力，超越基于坐标的方法。
• 该架构支持智能体间的参数共享，即使在传感器能力异构的情况下也能实现高效训练。
• 自定义仿真环境引入了风湍流、通信延迟和智能体丢失等现实世界干扰，以评估鲁棒性。
• 该方法通过深度强化学习端到端训练，策略在部分可观测、动态环境中通过经验学习获得。

实验结果

研究问题

• RQ1 多智能体强化学习方法能否有效学习异构智能体在未知环境全覆盖中的去中心化策略？
• RQ2 所提出的固定长度观测编码与三元组损失在异构多智能体设置中如何提升学习效果？
• RQ3 EMAC算法在多大程度上对现实世界环境干扰（如通信延迟与风湍流）具有鲁棒性？
• RQ4 EMAC在环境规模与团队规模增加时的可扩展性如何？
• RQ5 团队构成（特别是传感器载荷异质性）对覆盖性能有何影响？

主要发现

• 在未知环境覆盖任务中，EMAC优于传统多车辆路径规划算法与独立深度强化学习基线方法。
• 在40%风湍流条件下，EMAC覆盖网格耗时28.19步，较基线的15.91步增加77.2%。
• 当两个智能体掉线时，完成时间增加至41.81步，较基线增加67.5%。
• 扩展至32×32网格（为16×16训练网格的四倍大）后，完成时间增加14倍，达235.74步。
• 增加大视野智能体（9×9视场角）的比例，使平均覆盖时间从三只小智能体的32.72步降至三只大智能体的22.79步。
• 该算法在同质与异质团队配置下均表现出无缝性能，中间配置显示出持续的性能提升。