[论文解读] Frequency-Based Patrolling with Heterogeneous Agents and Limited Communication

Tao Mao, Laura Ray|arXiv (Cornell University)|Feb 7, 2014

Distributed Control Multi-Agent Systems参考文献 7被引用 4

一句话总结

本文提出了一种基于频率的巡逻方法，用于在大型非结构化环境中对异构代理进行巡逻，且通信受限。通过部分可观察马尔可夫决策过程（POMDP）与强化学习，代理学习各自的策略，并仅在共处同一位置或相邻位置时交换策略，从而实现涌现式协调，并在交叉圆形图上的动态访问需求中实现泛化。

ABSTRACT

This paper investigates multi-agent frequencybased patrolling of intersecting, circle graphs under conditions where graph nodes have non-uniform visitation requirements and agents have limited ability to communicate. The task is modeled as a partially observable Markov decision process, and a reinforcement learning solution is developed. Each agent generates its own policy from Markov chains, and policies are exchanged only when agents occupy the same or adjacent nodes. This constraint on policy exchange models sparse communication conditions over large, unstructured environments. Empirical results provide perspectives on convergence properties, agent cooperation, and generalization of learned patrolling policies to new instances of the task. The emergent behavior indicates learned coordination strategies between heterogeneous agents for patrolling large, unstructured regions as well as the ability to generalize to dynamic variation in node visitation requirements.

研究动机与目标

• 解决在非均匀节点访问需求下，对大型非结构化环境进行巡逻的挑战。
• 将巡逻任务建模为部分可观察马尔可夫决策过程（POMDP），以处理不确定性和有限感知。
• 在通信受限的条件下，实现异构代理之间的协作，仅在共处同一位置或相邻位置时交换策略。
• 开发一种基于强化学习的解决方案，使代理能够学习并适应节点访问频率的动态变化。
• 实现所学策略在具有不同要求的新巡逻任务实例中的泛化能力。

提出的方法

• 将巡逻问题建模为POMDP，以捕捉代理感知中的部分可观察性和不确定性。
• 使用强化学习训练各代理，生成基于马尔可夫链的策略，以反映基于频率的访问需求。
• 实现一种策略交换机制，仅限于占据相同或相邻节点的代理之间进行，以模拟大规模环境中的稀疏通信。
• 使用价值函数近似和经验回放，以稳定强化学习过程中的训练并提高收敛性。
• 设计一种去中心化的学习框架，代理独立行动，但通过有限的、上下文感知的策略共享实现协调。
• 将动态节点访问需求整合到奖励函数中，以引导代理实现基于频率的覆盖目标。

实验结果

研究问题

• RQ1 异构代理如何在大型非结构化环境中，实现非均匀节点访问频率下的协调巡逻？
• RQ2 强化学习在通信受限条件下，能在多大程度上使代理学习到有效的巡逻策略？
• RQ3 所学的巡逻策略是否能泛化到具有不同节点访问需求的新实例？
• RQ4 在稀疏策略交换的去中心化学习中，会涌现出何种协调策略？
• RQ5 在节点访问需求动态变化的情况下，收敛特性与性能表现如何变化？

主要发现

• 所提方法即使在通信受限的情况下，也能有效实现异构代理之间的协调，策略交换仅在代理共处同一位置或相邻位置时发生。
• 强化学习成功生成了稳定且高效的巡逻策略，能够适应圆形图上非均匀的访问需求。
• 所学策略表现出强大的泛化能力，在具有不同节点频率的新、未见的巡逻任务实例中表现良好。
• 在多次运行中均观察到收敛，表明在POMDP建模下策略学习具有鲁棒性。
• 观察到涌现的协调策略，包括时间和空间上的同步，即使没有显式通信也得以实现。
• 系统在节点访问需求动态变化的情况下仍保持高性能，证实了其适应性和鲁棒性。