[论文解读] Approximately Optimal Continuous-Time Motion Planning and Control via Probabilistic Inference

Mustafa Mukadam, Ching-An Cheng+2 more|arXiv (Cornell University)|Feb 23, 2017

Robotic Path Planning Algorithms参考文献 25被引用 4

一句话总结

该论文提出PIPC，一种基于概率推理的算法，用于在具有任意高阶非线性性能指标的随机系统中，实现近似最优的连续时间运动规划与控制。通过将问题表述为基于高斯过程的概率图模型上的后验推理，PIPC在非线性因子数量上实现线性复杂度，从而实现高效的在线滚动时域规划，并具备闭环性能。

ABSTRACT

The problem of optimal motion planing and control is fundamental in robotics. However, this problem is intractable for continuous-time stochastic systems in general and the solution is difficult to approximate if non-instantaneous nonlinear performance indices are present. In this work, we provide an efficient algorithm, PIPC (Probabilistic Inference for Planning and Control), that yields approximately optimal policies with arbitrary higher-order nonlinear performance indices. Using probabilistic inference and a Gaussian process representation of trajectories, PIPC exploits the underlying sparsity of the problem such that its complexity scales linearly in the number of nonlinear factors. We demonstrate the capabilities of our algorithm in a receding horizon setting with multiple systems in simulation.

研究动机与目标

• 解决具有复杂高阶非线性性能指标的连续时间随机系统中的最优运动规划与控制挑战。
• 克服一般连续时间最优控制问题中精确解的不可计算性，尤其是在非线性因子随时间耦合状态与动作时。
• 通过利用性能指标底层结构中的稀疏性，开发一种能随问题复杂度高效扩展的算法。
• 通过将最优控制问题转化为概率图模型上的对偶推理问题，实现实时闭环规划与控制。
• 扩展现有基于推理的控制框架，以处理超出瞬时代价的任意非线性因子，从而支持更丰富的性能规范。

提出的方法

• 使用广义线性-指数-二次高斯（gLEQG）框架，将最优控制问题表述为对偶概率推理问题。
• 将轨迹表示为高斯过程，以实现非参数化、平滑的策略表示并量化不确定性。
• 使用拉普拉斯近似推导轨迹上的高斯后验近似，从而实现高效推理。
• 利用性能指标因子图表示中的稀疏性，确保计算复杂度随非线性因子数量线性增长。
• 实施一种滚动时域控制策略，通过贝叶斯推理在获取新观测时递归更新策略。
• 将算法集成到马尔可夫决策过程（MDPs）和部分可观察马尔可夫决策过程（POMDPs）中，以增强在不确定环境中的鲁棒性。

实验结果

研究问题

• RQ1 能否使用概率推理求解具有任意高阶非线性性能指标的连续时间最优控制问题？
• RQ2 最优控制与推理之间的对偶性是否可扩展至包含非瞬时、非线性代价因子的问题？
• RQ3 能否通过稀疏性利用，使此类问题的计算复杂度在非线性因子数量上线性增长？
• RQ4 所提出的基于推理的方法在动态不确定环境中，与传统开环和闭环规划算法相比，性能如何？
• RQ5 该算法能否在具有部分可观测性与非高斯噪声的实时滚动时域设置中高效应用？

主要发现

• 在MDP和POMDP设置中，PIPC的显著成功率高于开环方法，尤其在高系统噪声（$Q_x$）或复杂障碍物环境中。
• 在2D全向机器人基准测试中，闭环PIPC在$Q_x = 0.01$时MDP情形下实现100%成功率，而开环方法在噪声增加至$Q_x = 0.03$时成功率下降至85%。
• 对于WAM和PR2机械臂，PIPC在$Q_x = 0.01$的MDP情形下保持100%成功率，且在高噪声（$Q_x = 0.03$，成功率90%对比开环POMDP方法的75%）下表现更优。
• 总体指标（时间、路径长度、路径代价）随噪声和障碍物数量增加，但PIPC成功运行的轨迹在质量和鲁棒性方面表现出一致的改进。
• 该算法在高维系统（7-DOF机械臂）中表现出可扩展性，证实其不仅适用于低维问题。
• 闭环PIPC始终优于开环基线方法，且在更高随机性下成功率差异增大，表明其对不确定性的强鲁棒性。