[论文解读] Adaptive Probabilistic Trajectory Optimization via Efficient Approximate Inference

Yunpeng Pan, Xinyan Yan+2 more|arXiv (Cornell University)|Aug 22, 2016

Gaussian Processes and Bayesian Inference参考文献 23被引用 7

一句话总结

本文提出了一种基于稀疏谱高斯过程（SSGP）的高效近似推理的自适应概率轨迹优化方法，实现了在不确定环境中的快速、在线学习与控制。通过结合增量信念空间优化与基于DDP的轨迹精炼方法，该方法在机器人控制任务中实现了实时性能与鲁棒性，相较于以往的基于模型强化学习与模型预测控制方法，在样本效率与适应性方面表现更优。

ABSTRACT

Robotic systems must be able to quickly and robustly make decisions when operating in uncertain and dynamic environments. While Reinforcement Learning (RL) can be used to compute optimal policies with little prior knowledge about the environment, it suffers from slow convergence. An alternative approach is Model Predictive Control (MPC), which optimizes policies quickly, but also requires accurate models of the system dynamics and environment. In this paper we propose a new approach, adaptive probabilistic trajectory optimization, that combines the benefits of RL and MPC. Our method uses scalable approximate inference to learn and updates probabilistic models in an online incremental fashion while also computing optimal control policies via successive local approximations. We present two variations of our algorithm based on the Sparse Spectrum Gaussian Process (SSGP) model, and we test our algorithm on three learning tasks, demonstrating the effectiveness and efficiency of our approach.

研究动机与目标

• 为解决模型无关强化学习在机器人控制中收敛缓慢的问题。
• 克服非参数概率模型在控制中近似推理的计算瓶颈。
• 结合基于模型强化学习的样本效率与模型预测控制（MPC）的响应能力。
• 实现在不确定性下的动力学模型与控制策略的在线、增量式学习。
• 开发适用于实时机器人决策的可扩展推理技术。

提出的方法

• 该方法使用稀疏谱高斯过程（SSGP）对系统动力学进行建模，实现高效且可扩展的近似推理。
• 采用微分动态规划（DDP）进行信念空间轨迹优化，对代价函数与动力学进行局部二次近似。
• 算法在每个时间步进行在线重优化，类似于MPC，以适应动态变化。
• 通过带投影牛顿优化的二次规划处理控制约束，保持反馈结构。
• 该方法采用增量学习，实时更新SSGP模型与信念状态以融入新数据。
• 基于SSGP的不同近似推理策略，提出了两种算法变体以提升可扩展性。

实验结果

研究问题

• RQ1 在概率动力学模型中实现可扩展的近似推理，是否能实现实时、自适应的机器人控制？
• RQ2 将基于DDP的轨迹优化与在线模型更新相结合，如何提升样本效率与鲁棒性？
• RQ3 与标准GP推理相比，基于SSGP的推理在控制应用中能将计算成本降低多少？
• RQ4 该方法在动态变化或部分可观测的任务中表现如何？
• RQ5 在不确定环境中，基于信念空间DDP的在线重优化是否能优于标准MPC与模型无关强化学习？

主要发现

• 所提方法在三个机器人控制任务中实现了实时性能，表现出快速收敛性与对模型不确定性的鲁棒性。
• SSGP的使用显著降低了推理时间，相较于基于标准GP的方法，使在线学习成为可能。
• 通过增量模型更新与在线重优化，算法成功学习并适应了动态变化。
• 通过带投影牛顿优化的二次规划引入控制约束，保持了稳定性与可行性，同时保留了反馈控制结构。
• 在样本效率与最终任务性能方面，该方法优于基线的模型无关与基于模型强化学习方法。
• 实验结果表明，结合SSGP推理的信念空间DDP能够实现在数据有限情况下的稳定、高精度控制。