[论文解读] Model-based Path Integral Stochastic Control: A Bayesian Nonparametric Approach

Yunpeng Pan, Evangelos A. Theodorou+1 more|arXiv (Cornell University)|Dec 9, 2014

Gaussian Processes and Bayesian Inference参考文献 15被引用 5

一句话总结

该论文提出了一种基于高斯过程与路径积分公式的模型化贝叶斯非参数随机最优控制框架，旨在从有限数据中学习时变最优控制。通过利用解析路径积分解法与迭代重要性采样，该方法在数据效率和学习速度方面优于基于采样的路径积分控制与基于高斯过程的策略搜索方法，尤其在高维复杂任务（如倒立摆与双摆倒立摆摆起）中表现更优。

ABSTRACT

Over the last few years, sampling-based stochastic optimal control (SOC) frameworks have shown impressive performances in reinforcement learning (RL) with applications in robotics. However, such approaches require a large amount of samples from many interactions with the physical systems. To improve learning efficiency, we present a novel model-based and data-driven SOC framework based on path integral formulation and Gaussian processes (GPs). The proposed approach learns explicit and time-varying optimal controls autonomously from limited sampled data. Based on this framework, we propose an iterative control scheme with improved applicability in higher-dimensional and more complex control tasks. We demonstrate the effectiveness and efficiency of the proposed framework using two nontrivial examples. Compared to state-of-the-art RL methods, the proposed framework features superior control learning efficiency.

研究动机与目标

• 解决高维机器人系统中基于采样的随机最优控制（SOC）方法存在的数据效率低下问题。
• 通过实现非参数化、基于模型的最优控制学习，克服现有SOC框架中固定策略参数化形式的局限性。
• 通过将高斯过程动力学模型与解析路径积分解法相结合，提升学习速度与数据效率。
• 设计一种迭代控制方案，以增强在复杂、欠驱动系统中的性能，其中仅对未受控动力学进行采样已不足以收敛。
• 在数据消耗、计算时间与控制质量方面，相比SOTA方法（如PILCO与迭代PI），展现出更优的性能。

提出的方法

• 使用未知漂移与扩散矩阵的连续时间SDE建模随机最优控制问题，并通过高斯过程对动力学进行非参数化建模。
• 应用Feynman-Kac公式将Hamilton-Jacobi-Bellman方程转化为路径积分表示，实现最优控制的解析计算。
• 利用高斯过程从有限采样轨迹中学习动力学模型，并在贝叶斯框架中整合模型不确定性。
• 基于重要性采样实现迭代控制方案，其中控制策略通过受控动力学的样本而非未受控动力学的样本进行更新。
• 通过路径积分的解析求值推导出显式、时变的最优控制律，避免数值PDE求解或迭代优化。
• 提出两种变体：基于未受控动力学采样的GPPI，以及基于受控动力学进行迭代优化的iGPPI，二者均利用解析路径积分解法。

实验结果

研究问题

• RQ1 与基于采样的路径积分方法相比，贝叶斯非参数化模型化方法是否能提升随机最优控制中的数据效率？
• RQ2 将高斯过程动力学模型与解析路径积分解法结合，对高维系统中的学习速度与控制性能有何影响？
• RQ3 基于受控动力学的样本进行重要性采样迭代优化，在复杂欠驱动任务中的性能提升程度如何？
• RQ4 在具有挑战性的控制任务中，与PILCO和迭代PI相比，所提框架在数据效率与计算成本方面表现如何？
• RQ5 该框架是否能在无需预先设定策略参数化形式或依赖外部优化求解器的情况下学习最优控制？

主要发现

• GPPI与iGPPI在最优控制性能上与迭代PI控制相当，但所需采样数据点更少，总计算时间显著降低。
• 在复杂任务（如双摆倒立摆摆起）中，iGPPI优于GPPI，因为仅从未受控动力学采样不足以实现收敛。
• 所提框架相比基于采样的PI控制方法，显著降低了数据消耗与学习时间，展现出更优的数据效率。
• 尽管PILCO在某些情况下具有更优的数据效率，但所提方法因无需迭代策略优化，学习速度更快。
• 迭代方案（iGPPI）在高维、欠驱动系统中实现了更优的终端代价降低，证实其在复杂控制任务中的更强适用性。
• 解析路径积分公式可实现显式、闭式控制律，无需数值PDE求解或基于梯度的优化，从而提升计算效率。