[论文解读] Kernelized Movement Primitives

Yanlong Huang, Leonel Rozo+2 more|arXiv (Cornell University)|Aug 29, 2017

Robot Manipulation and Learning参考文献 39被引用 7

一句话总结

本文提出核化运动基元（KMP），一种基于核函数的非参数模仿学习方法，通过概率框架结合核函数对轨迹进行建模，无需使用固定基函数。KMP支持自适应轨迹调制、局部坐标系下的外推，以及从高维输入中有效学习，在灵活性和泛化能力方面优于传统方法如DMP和ProMP。

ABSTRACT

Imitation learning has been studied widely as a convenient way to transfer human skills to robots. This learning approach is aimed at extracting relevant motion patterns from human demonstrations and subsequently applying these patterns to different situations. Despite many advancements have been achieved, the solutions for coping with unpredicted situations (e.g., obstacles and external perturbations) and high-dimensional inputs are still largely open. In this paper, we propose a novel kernelized movement primitive (KMP), which allows the robot to adapt the learned motor skills and fulfill a variety of additional constraints arising over the course of a task. Specifically, KMP is capable of learning trajectories associated with high-dimensional inputs due to the kernel treatment, which in turn renders a model with fewer open parameters in contrast to methods that rely on basis functions. Moreover, we extend our approach by exploiting local trajectory representations in different coordinate systems that describe the task at hand, endowing KMP with reliable extrapolation capabilities in broader domains. We apply KMP to the learning of time-driven trajectories as a special case, where a compact parametric representation describing a trajectory and its first-order derivative is utilized. In order to verify the effectiveness of our method, several examples of trajectory modulations and extrapolations associated with time inputs, as well as trajectory adaptations with high-dimensional inputs are provided.

研究动机与目标

• 解决现有运动基元方法在处理高维输入以及适应未见约束（如障碍物或途经点）方面的局限性。
• 克服DMP和ProMP中依赖人工设计基函数的问题，避免在高维空间中出现参数爆炸和可扩展性差的缺陷。
• 通过在任务相关的相对坐标系中建模轨迹，而非绝对坐标系，实现可靠的外推。
• 构建统一框架，支持轨迹适应、叠加与泛化，同时保持人类示范的概率结构。
• 提供一种非参数化解决方案，降低模型复杂度，并避免在示范数据有限时常见于概率模型中的奇异协方差问题。

提出的方法

• 将模仿学习建模为基于核函数的回归问题，利用输入状态与示范轨迹之间的联合概率分布，通过核函数隐式映射数据至高维特征空间。
• 采用核化条件均值与协方差预测来估计轨迹分布，实现无需显式基函数的非参数建模。
• 引入任务相关的相对坐标系中的局部轨迹表示，以提升超出示范范围的外推性能。
• 应用正则化核岭回归框架来估计运动模式的均值与协方差，确保数值稳定性并避免协方差矩阵奇异。
• 通过在新约束（如途经点或目标点）上条件化核化分布，实现轨迹适应，获得类似ProMP的解析解，但无需依赖基函数。
• 通过将时间作为输入变量，将框架扩展至时间驱动的轨迹，实现轨迹及其导数的紧凑参数化表示。

实验结果

研究问题

• RQ1 基于核函数的非参数方法是否能有效建模复杂且高维的轨迹，而无需依赖预设的基函数？
• RQ2 通过使用局部坐标表示，所提方法在超出示范运动范围时的泛化与外推能力如何？
• RQ3 KMP在无需重新训练的情况下，能在多大程度上实时适应新约束（如途经点或目标点）来调整已学习的轨迹？
• RQ4 在适应性、泛化能力以及对高维输入的鲁棒性方面，KMP与SOTA方法（如DMP和ProMP）相比表现如何？
• RQ5 该核化框架是否能同时支持轨迹调制与叠加，同时保持概率一致性与低参数量？

主要发现

• KMP在无需显式基函数的情况下成功建模高维输入轨迹，与基于基函数的方法相比，显著减少了开放参数数量。
• 通过在相对坐标系中学习局部轨迹表示，该方法实现了可靠的外推，其在泛化到未见任务实例方面优于基于绝对坐标系的模型（如GMM和ProMP）。
• KMP通过在新约束（如途经点）上进行解析条件化，实现自适应轨迹调制，支持实时调整，无需从头重新估计模型参数。
• 该框架在示范之间保持了概率一致性，并支持多条轨迹的叠加，从而实现复杂运动技能的组合。
• 通过仿真与真实机器人实验，KMP在时间驱动轨迹生成及人机协作任务中表现出稳健性能，包括对外部扰动的适应能力。
• 基于核的公式避免了在示范数量相对于运动空间维度较小时，ProMP中常见的奇异协方差问题。