[论文解读] Path Integral Control by Reproducing Kernel Hilbert Space Embedding

Konrad Rawlik, Marc Toussaint+1 more|arXiv (Cornell University)|Aug 13, 2012

Model Reduction and Neural Networks参考文献 23被引用 20

一句话总结

本文提出了一种基于再生核希尔伯特空间（RKHS）嵌入的无模型、非参数化方法，用于随机最优控制。通过在RKHS中估计协方差算子而非直接采样路径积分，该方法实现了跨任务的高效样本复用，显著降低了样本复杂度，并在具有共享动态特性的控制任务中实现了迁移学习。

ABSTRACT

We present an embedding of stochastic optimal control problems, of the so called path integral form, into reproducing kernel Hilbert spaces. Using consistent, sample based estimates of the embedding leads to a model free, non-parametric approach for calculation of an approximate solution to the control problem. This formulation admits a decomposition of the problem into an invariant and task dependent component. Consequently, we make much more efficient use of the sample data compared to previous sample based approaches in this domain, e.g., by allowing sample re-use across tasks. Numerical examples on test problems, which illustrate the sample efficiency, are provided.

研究动机与目标

• 为解决传统蒙特卡罗方法在路径积分控制中样本复杂度过高的问题，尤其是在每个新任务都需要重新训练时。
• 开发一种无模型、非参数化的框架，实现在相关控制任务之间无需重新收集数据即可实现迁移学习。
• 将控制问题分解为不变分量（动力学）和任务特定分量（代价函数），以提升样本效率。
• 通过RKHS嵌入提供一致且可扩展的路径积分估计器，确保收敛性保证。
• 将适用范围从线性可解的MDP扩展到更广泛的随机最优控制问题类别。

提出的方法

• 将路径积分控制问题嵌入再生核希尔伯特空间（RKHS），将求解转化为协方差算子估计问题。
• 使用一致的、基于样本的RKHS算子估计器，近似值函数Ψ，而无需显式计算路径积分。
• 将控制问题分解为不变分量（动力学与噪声）和任务相关分量（代价函数），以实现样本复用。
• 利用先前任务中获得的技能策略生成信息丰富的轨迹，用于新任务，提升低概率区域的探索效率。
• 通过在离散时间点上的递归公式估计Ψ，核基算子作用于状态轨迹。
• 应用重要性采样与算子估计，通过∇Ψ/Ψ计算最优策略π*，避免对每个状态进行采样。

实验结果

研究问题

• RQ1 RKHS对路径积分的嵌入能否产生一致的、非参数化的随机最优控制估计器？
• RQ2 将问题分解为不变分量与任务特定分量，能否实现在不同控制任务之间的样本复用？
• RQ3 与标准蒙特卡罗路径积分估计相比，所提方法是否能降低样本复杂度？
• RQ4 该方法能否在具有共享动力学但目标或代价不同的控制任务中支持迁移学习？
• RQ5 核函数的选择与采样策略如何影响估计器的收敛性与准确性？

主要发现

• 所提方法实现了Ψ估计的快速收敛，仅需100条轨迹后L1误差即显著下降，接近5000条轨迹基线的性能。
• 使用技能增强策略进行采样可减少样本复杂度，通过聚焦于任务相关的子空间提升探索效率。
• 该方法实现了有效的迁移学习：多个任务的样本可被复用于估计不变动力学分量，避免为每个新任务重新收集数据。
• 估计器保持了一致性与收敛性保证，而不同于以往方法为提升样本效率而牺牲一致性。
• RKHS嵌入使该方法可扩展至高维状态空间，因为算子与状态维度无关。
• 数值结果表明，该方法在泛化能力与样本效率方面优于标准路径积分控制，尤其在低概率轨迹区域表现更优。