[论文解读] A Near-Optimal Separation Principle for Nonlinear Stochastic Systems Arising in Robotic Path Planning and Control

Mohammadhussein Rafieisakhaei, Suman Chakravorty+1 more|arXiv (Cornell University)|May 24, 2017

Stability and Control of Uncertain Systems参考文献 17被引用 5

一句话总结

本文针对机器人路径规划中的非线性随机系统，提出了一种近似最优的分离原理，将控制问题分解为开环轨迹优化与反馈LQR策略两步。在小高斯噪声条件下，该方法通过将标称轨迹设计与反馈补偿解耦，确保了近似最优性，理论证明了一阶误差的均值为零，且跟踪误差随噪声减小而指数收敛。

ABSTRACT

We consider nonlinear stochastic systems that arise in path planning and control of mobile robots. As is typical of almost all nonlinear stochastic systems, the optimally solving problem is intractable. We provide a design approach which yields a tractable design that is quantifiably near-optimal. We exhibit a "separation" principle under a small noise assumption consisting of the optimal open-loop design of nominal trajectory followed by an optimal feedback law to track this trajectory, which is different from the usual effort of separating estimation from control. As a corollary, we obtain a trajectory-optimized linear quadratic regulator design for stochastic nonlinear systems with Gaussian noise.

研究动机与目标

• 解决机器人路径规划中非线性随机系统最优控制的不可解性问题。
• 为具有小高斯噪声的系统开发一种可计算的、定量近似最优的设计框架。
• 建立一种分离原理，将开环轨迹优化与反馈策略设计解耦，区别于经典的估计-控制分离。
• 利用Wentzell-Freidlin大偏差理论，提供对随机代价误差和跟踪性能的理论边界。
• 通过低复杂度计算实现快速在线重规划，适用于实时机器人应用。

提出的方法

• 使用带加性高斯噪声的小噪声SDE建模随机控制问题，将扰动表示为εWt。
• 应用Wentzell-Freidlin理论分析大偏差，并推导随机代价函数的一阶线性化误差边界。
• 将控制设计分为两个阶段：(1) 利用Hamilton-Jacobi-Bellman框架进行标称轨迹的开环优化；(2) 在优化后的轨迹周围通过线性二次调节器（LQR）进行反馈策略设计。
• 通过代价函数和动力学的二阶泰勒展开，对系统在标称路径周围进行线性化，从而实现可处理的反馈合成。
• 推导了在反馈补偿下状态与控制误差传播的概率边界，表明一阶误差为零均值。
• 采用轨迹优化LQR（T-LQR）架构，其中LQR基于优化后的标称轨迹作为参考进行计算。

实验结果

研究问题

• RQ1 在何种条件下，将开环轨迹设计与反馈策略设计分离，可为非线性随机系统提供近似最优解？
• RQ2 在小噪声条件下，随机代价函数的一阶随机误差行为如何？能否进行概率性边界界定？
• RQ3 基于标称轨迹周围LQR的反馈策略，是否能在噪声减小时实现跟踪误差的指数收敛？
• RQ4 与相同标称轨迹下的开环控制相比，反馈补偿在多大程度上改善了误差性能？
• RQ5 所提方法的计算复杂度如何？其如何支持机器人系统中的快速在线重规划？

主要发现

• 所提出的分离原理在小噪声条件下可保证设计的近似最优性，且随机代价函数的一阶线性化误差的期望为零均值。
• 反馈补偿系统的平均归一化均方误差（NMSE）随噪声水平ε → 0而指数下降，与理论预测一致。
• 当ε = 0.1时，反馈补偿系统显著优于开环控制，误差收敛速率约为其五倍。
• T-LQR设计的计算复杂度为O(ℓKnₓ² + Knₓ³)，由于计算负担低，可实现快速在线重规划。
• 在类汽车机器人上的数值结果表明，反馈补偿系统在中等噪声水平下仍能保持稳定跟踪，且误差随ε减小而单调递减。
• 与需要不可行动态规划的先前方法相比，该方法将每次迭代的在线计算量从O(ℓKnₓ²)降低至O(nₓ²)。