[论文解读] Motion Planning via Optimal Control for Stochastic Processes

Peyman Mohajerin Esfahani, Debasish Chatterjee+1 more|arXiv (Cornell University)|Nov 6, 2012

Stochastic processes and financial applications参考文献 21被引用 3

一句话总结

本文提出了一种弱动态规划原理（DPP），适用于具有不连续路径的受控过程的随机运动规划，支持顺序目标访问与障碍物规避。核心贡献在于将能够以预设概率实现期望操作的初始状态集合，表征为一系列具有递归定义边界条件的PDE的不连续粘性解的水平集。

ABSTRACT

We study stochastic motion planning problems which involve a controlled process, with possibly discontinuous sample paths, visiting certain subsets of the state-space while avoiding others in a sequential fashion. For this purpose, we first introduce two basic notions of motion planning, and then establish a connection to a class of stochastic optimal control problems concerned with sequential stopping times. A weak dynamic programming principle (DPP) is then proposed, which characterizes the set of initial states that admit a policy enabling the process to execute the desired maneuver with probability no less than some pre-specified value. The proposed DPP comprises auxiliary value functions defined in terms of discontinuous payoff functions. A concrete instance of the use of this novel DPP in the case of diffusion processes is also presented. In this case, we establish that the aforementioned set of initial states can be characterized as the level set of a discontinuous viscosity solution to a sequence of partial differential equations, for which the first one has a known boundary condition, while the boundary conditions of the subsequent ones are determined by the solutions to the preceding steps. Finally, the generality and flexibility of the theoretical results are illustrated on an example involving biological switches.

研究动机与目标

• 解决具有不连续样本路径的系统中的随机运动规划问题，要求过程按顺序访问目标子集并避开禁止区域。
• 在随机背景下形式化运动规划的两个基本概念，尤其关注概率保证。
• 建立运动规划与涉及顺序停止时间的随机最优控制问题之间的联系。
• 开发一种弱DPP，用于表征能够以至少给定阈值概率成功执行期望操作的初始状态。
• 通过在生物开关模型中的应用，展示该方法在复杂系统中的通用性与灵活性。

提出的方法

• 引入一种弱动态规划原理（DPP），通过不连续收益函数定义的辅助值函数实现。
• 将运动规划问题建模为一系列带有停止时间的随机最优控制问题，以确保顺序目标访问。
• 将DPP应用于扩散过程，推导出具有递归定义边界条件的偏微分方程（PDE）系统。
• 将能够成功执行操作的初始状态集合表征为PDE系统不连续粘性解的水平集。
• 利用粘性解理论处理收益函数和边界条件中的不连续性，确保数学严谨性。
• 采用递归求解步骤：第一个PDE具有已知边界条件，后续每个PDE的边界条件由前一求め解递归推导得出。

实验结果

研究问题

• RQ1 如何为具有不连续样本路径的随机过程制定运动规划，以确保顺序目标访问与障碍物规避？
• RQ2 顺序停止时间在表征满足概率约束下可行初始状态方面起到什么作用？
• RQ3 当收益函数和边界条件不连续时，如何构建弱动态规划原理？
• RQ4 在扩散过程背景下，如何从数学上表征能够实现期望操作的初始状态集合？
• RQ5 所提出的DPP框架在多大程度上可应用于复杂系统，如生物开关？

主要发现

• 能够以至少预设阈值概率执行期望操作的初始状态集合，被表征为一系列PDE的不连续粘性解的水平集。
• 该序列中的第一个PDE具有已知边界条件，而后续PDE的边界条件则通过先前方程的解递归确定。
• 该方法通过使用粘性解成功处理了不连续收益函数，即使在非光滑情况下也确保了数学严谨性。
• 该框架具有足够的通用性，可建模复杂系统，如在生物开关动力学中的应用所示。
• 理论结果提供了一种系统化方法，用于在样本路径不连续的情况下，计算不确定性下运动规划的可行初始状态。
• PDE系统的递归结构使得在随机环境中对顺序运动规划任务进行可扩展分析成为可能。