[论文解读] Memoryless Control Design for Persistent Surveillance under Safety Constraints

Eduardo R. Arvelo, Eric Kim+1 more|arXiv (Cornell University)|Sep 26, 2012

Reinforcement Learning in Robotics参考文献 12被引用 9

一句话总结

该论文提出了一种基于凸优化的方法，用于在安全约束下为机器人在二维格点中导航设计时不变、无记忆的控制策略，以最大化对非禁止状态的持续监控。通过利用熵最大化，该方法计算出一种控制策略，确保尽可能多的状态被持续访问，且具有最少的常返类，从而通过凸规划实现最少的机器人部署。

ABSTRACT

This paper deals with the design of time-invariant memoryless control policies for robots that move in a finite two- dimensional lattice and are tasked with persistent surveillance of an area in which there are forbidden regions. We model each robot as a controlled Markov chain whose state comprises its position in the lattice and the direction of motion. The goal is to find the minimum number of robots and an associated time-invariant memoryless control policy that guarantees that the largest number of states are persistently surveilled without ever visiting a forbidden state. We propose a design method that relies on a finitely parametrized convex program inspired by entropy maximization principles. Numerical examples are provided.

研究动机与目标

• 为具有禁止区域的有限二维格点中的机器人设计时不变、无记忆的控制策略。
• 在不访问禁止状态的前提下，最大化持续监控的状态数量。
• 最小化实现最大可能状态集全覆盖所需的机器人数量。
• 确保在计算资源受限的微型机器人上可扩展且可实施。
• 提供一种凸优化框架，以在安全和控制约束下保证最优的持续监控。

提出的方法

• 将每个机器人建模为具有有限状态空间和控制空间的受控马尔可夫链，其中状态包括位置和方向。
• 基于熵最大化，使用有限参数化的凸规划来计算状态上的最优平稳分布。
• 施加约束以排除禁止状态，并确保所得策略为无记忆且时不变。
• 从凸规划的最优解推导出控制策略，该策略在可达的非禁止状态上最大化支持集。
• 通过分析闭环马尔可夫链中的常返类，确定所需的最少机器人数量。
• 引入额外的凸约束以塑造极限分布，并优先考虑高关注度区域。

实验结果

研究问题

• RQ1 在二维格点中，为实现对最大可能非禁止状态集的持续监控，所需的最少机器人数量是多少？
• RQ2 如何设计一种无记忆、时不变的控制策略，以在遵守安全约束的前提下最大化监控覆盖范围？
• RQ3 能否利用熵最大化原理，计算出在约束条件下使平稳分布支持集尽可能大的控制策略？
• RQ4 如何在优化框架中通过凸约束来塑造机器人运动的极限行为？
• RQ5 闭环马尔可夫链中常返类的数量与所需最少机器人数量之间存在何种关系？

主要发现

• 所提出的凸规划计算出的控制策略可最大化平稳分布的支持集，从而确保对最大数量的非禁止状态实现持续监控。
• 所需最少机器人数量等于在所计算策略下闭环马尔可夫链中的常返类数量。
• 该解法具有可扩展性，且可使用标准凸优化工具（如文献[8]中的工具）高效求解。
• 数值示例表明，当未施加额外约束时，平稳分布在被监控状态上相对均匀。
• 通过在高关注度区域添加凸约束，该方法可提高对该区域的访问频率，实现有针对性的监控优先级。
• 该方法确保对于任意初始状态，状态的极限访问频率与其平稳概率成正比，该概率由解定义。