[论文解读] Multi-Agent Reinforcement Learning for Persistent Monitoring.

Jingxi Chen, Amrish Baskaran+2 more|arXiv (Cornell University)|Nov 2, 2020

Reinforcement Learning in Robotics参考文献 21被引用 4

一句话总结

该论文提出MA-G-PPO，一种多智能体图注意力近端策略优化算法，使机器人能够利用局部观测和低分辨率全局地图，协作地持续监测动态环境。该方法利用图注意力机制在智能体之间共享信息，学习一种有效的联合策略，降低监控惩罚，并展现出涌现的协调行为。

ABSTRACT

The Persistent Monitoring (PM) problem seeks to find a set of trajectories (or controllers) for robots to persistently monitor a changing environment. Each robot has a limited field-of-view and may need to coordinate with others to ensure no point in the environment is left unmonitored for long periods of time. We model the problem such that there is a penalty that accrues every time step if a point is left unmonitored. However, the dynamics of the penalty are unknown to us. We present a Multi-Agent Reinforcement Learning (MARL) algorithm for the persistent monitoring problem. Specifically, we present a Multi-Agent Graph Attention Proximal Policy Optimization (MA-G-PPO) algorithm that takes as input the local observations of all agents combined with a low resolution global map to learn a policy for each agent. The graph attention allows agents to share their information with others leading to an effective joint policy. Our main focus is to understand how effective MARL is for the PM problem. We investigate five research questions with this broader goal. We find that MA-G-PPO is able to learn a better policy than the non-RL baseline in most cases, the effectiveness depends on agents sharing information with each other, and the policy learnt shows emergent behavior for the agents.

研究动机与目标

• 解决机器人必须在视场受限的情况下持续监控动态环境的持续监控（PM）问题。
• 开发一种多智能体强化学习框架，即使在未知惩罚动态的情况下也能实现协调监控。
• 研究智能体之间的信息共享如何影响持续监控任务中的策略性能。
• 评估多智能体强化学习是否能学习到无需显式任务分解的涌现协调行为。

提出的方法

• MA-G-PPO算法使用近端策略优化（PPO）进行策略学习，并引入图注意力机制，聚合邻近智能体的信息。
• 每个智能体的输入包括其局部观测和低分辨率全局地图，以提供空间上下文。
• 图注意力层使智能体能够根据相关性和距离动态加权并整合其他智能体的信息。
• 策略通过惩罚未监控时间的奖励信号进行端到端训练，以鼓励持续覆盖。
• 该方法支持去中心化执行，每个智能体基于自身观测和共享信息独立行动。
• 该架构通过将智能体建模为图中的节点并采用可学习的注意力通信机制，支持可扩展的协调。

实验结果

研究问题

• RQ1 与非强化学习基线方法相比，MA-G-PPO在最小化监控惩罚方面的有效性如何？
• RQ2 智能体之间的信息共享在PM问题中对策略性能的提升程度如何？
• RQ3 该多智能体强化学习框架是否能在无需显式任务分解的情况下学习到涌现的协调行为？
• RQ4 低分辨率全局地图的引入如何影响学习效率和策略质量？
• RQ5 图注意力机制对多智能体监控中策略泛化能力和鲁棒性的影响如何？

主要发现

• 在大多数实验场景中，MA-G-PPO在降低监控惩罚方面优于非强化学习基线方法。
• 当智能体通过图注意力机制共享信息时，性能提升显著高于孤立学习的情况。
• 所学习的策略展现出涌现的协调行为，如空间分工和动态重新定位以填补监控空缺。
• 使用低分辨率全局地图可提高策略收敛速度和覆盖稳定性。
• 图注意力机制实现了有效的通信，提升了联合性能，而无需显式通信协议。
• 该算法在不同复杂度和智能体数量的环境中均表现出可扩展性和鲁棒性。