[论文解读] An Optimal Control Approach to the Persistent Monitoring Problem

Christos G. Cassandras, Xuchao Lin+1 more|arXiv (Cornell University)|Feb 28, 2012

Distributed Control Multi-Agent Systems参考文献 20被引用 3

一句话总结

本文提出了一种用于在1D任务空间中使用移动代理进行持续监控的最优控制框架，将不确定性建模为动态排队系统。该方法将问题简化为对切换点和等待时间的参数优化，利用无穷小扰动分析（IPA）进行基于梯度的优化，并表明代理应避免端点，而应在内部位置切换，以最小化随时间推移的总不确定性。

ABSTRACT

We propose an optimal control framework for persistent monitoring problems where the objective is to control the movement of mobile nodes to minimize an uncertainty metric in a given mission space. For multi agent in a one-dimensional mission space, we show that the optimal solution is obtained in terms of a sequence of switching locations and waiting time on these switching points, thus reducing it to a parametric optimization problem. Using Infinitesimal Perturbation Analysis (IPA) we obtain a complete solution through a gradient-based algorithm. We also discuss a receding horizon controller which is capable of obtaining a near-optimal solution on-the-fly.

研究动机与目标

• 开发一种控制策略，以最小化在动态变化环境中由移动代理监控所累积的不确定性。
• 解决在尊重感知和运动约束的前提下，平衡代理移动以确保所有区域被无限次访问的挑战。
• 将复杂的最优控制问题简化为对切换位置和停留时间的参数优化。
• 通过滚动时域控制器实现实时控制，实现近似最优性能。
• 建立最优轨迹由全速运动、在内部点切换以及非零等待时间组成的理论条件。

提出的方法

• 将持续监控问题表述为在1D任务空间上最小化时间积分不确定性度量。
• 将不确定性增长与减少建模为排队过程，其中代理作为访问采样点的服务器。
• 将最优控制问题简化为对切换点 $\theta_k$ 和等待时间 $w_k$ 的参数优化。
• 应用广义无穷小扰动分析（IPA）以计算成本函数相对于参数的梯度。
• 使用带Armijo线搜索的基于梯度的算法，迭代更新切换位置和等待时间。
• 开发一种滚动时域控制器，通过求解一系列有限时域问题，实现实时、近似最优的控制。

实验结果

研究问题

• RQ1 单个代理在具有动态不确定性的1D环境中，其最优轨迹结构是什么？
• RQ2 如何将最优控制问题简化为对切换点和等待时间的参数优化？
• RQ3 在持续监控背景下，IPA能否有效用于计算具有不连续动态的混合系统的梯度？
• RQ4 在最优解中，代理在何种条件下会避免任务空间的边界点？
• RQ5 基于IPA的优化对随时间变化的感知有效性随机波动的鲁棒性如何？

主要发现

• 每个代理的最优轨迹由全速运动至切换点、随后非负等待时间，再切换方向组成——从不到达任务空间的边界点。
• 通过最优选择切换点和等待时间，总不确定性成本显著降低，单代理与双代理仿真中均观察到成本下降。
• 在20个采样点的一代理情况下，当代理可访问整个区间 $[0,20]$ 时，最优成本 $J^* = 17.77$；当受限于 $[4,16]$ 时，$J^* = 39.14$。
• 在感知有效性 $A_i(t)$ 随时间随机变化的随机环境中，基于IPA的算法仍能收敛至近似最优解，$J^* = 17.54$，表明其具有鲁棒性。
• 使用Armijo步长时，算法约在10–15秒内收敛，表明尽管在随机情况下成本函数不光滑，仍具备计算可行性。
• 仿真结果确认了在切换点存在严格正等待时间，尤其在感知范围靠近边界受限时更为明显。