[论文解读] Learning Contracting Vector Fields For Stable Imitation Learning

Vikas Sindhwani, Stephen Tu+1 more|arXiv (Cornell University)|Apr 13, 2018

Robot Manipulation and Learning参考文献 21被引用 15

一句话总结

本文提出了一种名为收缩向量场（Contracting Vector Fields, CVF）的非参数框架，通过在向量值再生核希尔伯特空间（RKHS）上进行凸优化，强制实现增量稳定性，从而从示范轨迹中学习稳定、平滑的动力系统。该方法使用矩阵值核，确保在期望平衡点处精确为零，并控制局部收缩率与曲率，实现了在手写运动模仿等模仿学习任务中优于DMPs、SEDS和CLFDM的轨迹精度与稳定性，且在多种初始条件下表现鲁棒。

ABSTRACT

We propose a new non-parametric framework for learning incrementally stable dynamical systems x' = f(x) from a set of sampled trajectories. We construct a rich family of smooth vector fields induced by certain classes of matrix-valued kernels, whose equilibria are placed exactly at a desired set of locations and whose local contraction and curvature properties at various points can be explicitly controlled using convex optimization. With curl-free kernels, our framework may also be viewed as a mechanism to learn potential fields and gradient flows. We develop large-scale techniques using randomized kernel approximations in this context. We demonstrate our approach, called contracting vector fields (CVF), on imitation learning tasks involving complex point-to-point human handwriting motions.

研究动机与目标

• 开发一种稳定且可泛化的框架，用于从有限的示范轨迹中学习动力系统，以支持模仿学习。
• 通过约束向量场的雅可比矩阵为负定，实现增量稳定性，确保从多种初始条件收敛。
• 利用矩阵值核构建丰富的平滑向量场族，精确在指定平衡点处为零。
• 通过随机核近似实现可扩展学习，同时保持稳定性与收敛性保证。
• 在轨迹精度、稳定性与对扰动的鲁棒性方面，优于DMPs、SEDS与CLFDM等现有方法。

提出的方法

• 该方法在向量值RKHS上构建正则化优化问题，以最小化轨迹误差，同时对向量场的雅可比矩阵施加收缩约束。
• 通过凸优化显式控制局部收缩率与曲率，利用矩阵值核生成平滑向量场。
• 通过投影到在指定点处为零的RKHS函数子空间，确保向量场在特定平衡点精确为零。
• 为提升可扩展性，采用无旋核与高斯可分核的随机核近似，降低计算成本，同时保持稳定性。
• 优化问题使用SCS求解器，结合原始-对偶内点法求解，实现对偶间隙收敛至10^-6至10^-4之间。
• 当使用无旋核时，所得向量场可解释为在学习到的势场上的梯度流，支持基于能量的建模。

实验结果

研究问题

• RQ1 非参数框架能否从少量示范轨迹中学习到稳定、平滑的动力系统，同时确保从多种初始条件收敛？
• RQ2 如何通过凸优化显式控制向量场的局部收缩率与曲率特性？
• RQ3 随机核近似在高维模仿学习任务中能在多大程度上保持稳定性与性能？
• RQ4 在多种运动模式下，该方法在稳定性与精度方面与DMPs、SEDS和CLFDM等成熟方法相比表现如何？
• RQ5 该框架能否扩展以支持动态避障，并与机器人系统中的感知模块集成？

主要发现

• 在S形数据集上，CVF-CF的测试轨迹误差为5.82，DTWD为17767.83，在64种初始条件下均表现出优于DMPs与SEDS的稳定性。
• 在G形数据集上，CVF-GS的测试轨迹误差为4.10，DTWD为10009.24，所有网格初始条件均100%成功到达目标。
• CVF方法表现出更优的鲁棒性：在所有数据集中，仅1/64初始条件未能收敛至目标，显著低于SEDS与CLFDM的失败率。
• CVF的训练时间略高于其他方法，但仍在可接受范围内，SCS求解器在200个特征下可在25秒内完成收敛。
• 该方法在随机特征数量上呈线性扩展，在维度上呈超线性扩展，证实其在高维系统中的可行性。
• CVF在全部四个数据集上均取得最低的平均DTWD，表明其在扰动下具有更优的泛化能力与稳定性。