[论文解读] EKMP: Generalized Imitation Learning with Adaptation, Nonlinear Hard Constraints and Obstacle Avoidance

Yanlong Huang|arXiv (Cornell University)|Feb 28, 2021

Robot Manipulation and Learning参考文献 23被引用 4

一句话总结

本文提出扩展核化运动原形（EKMP），一种广义的模仿学习框架，使机器人能够从示范中学习，同时适应新目标，通过关节链级碰撞检测实现避障，并严格满足线性和非线性硬约束——在7自由度机械臂上有效验证，收敛速度快且约束遵守性高。

ABSTRACT

As a user-friendly and straightforward solution for robot trajectory generation, imitation learning has been viewed as a vital direction in the context of robot skill learning. In contrast to unconstrained imitation learning which ignores possible internal and external constraints arising from environments and robot kinematics/dynamics, recent works on constrained imitation learning allow for transferring human skills to unstructured scenarios, further enlarging the application domain of imitation learning. While various constraints have been studied, e.g., joint limits, obstacle avoidance and plane constraints, the problem of nonlinear hard constraints has not been well-addressed. In this paper, we propose extended kernelized movement primitives (EKMP) to cope with most of the key problems in imitation learning, including nonlinear hard constraints. Specifically, EKMP is capable of learning the probabilistic features of multiple demonstrations, adapting the learned skills towards arbitrary desired points in terms of joint position and velocity, avoiding obstacles at the level of robot links, as well as satisfying arbitrary linear and nonlinear, equality and inequality hard constraints. Besides, the connections between EKMP and state-of-the-art motion planning approaches are discussed. Several evaluations including the planning of joint trajectories for a 7-DoF robotic arm are provided to verify the effectiveness of our framework.

研究动机与目标

• 为解决约束性模仿学习中的空白，特别是针对非线性硬约束、避障以及关节速度一致性问题。
• 将核化运动原形（KMP）扩展，以支持对任意期望关节位置和速度的适应。
• 在机器人连杆层面实现避障，而非仅限于末端执行器位置。
• 在轨迹优化过程中严格满足任意线性和非线性等式与不等式约束。
• 实现快速、约束合规的轨迹规划，且人类干预极少。

提出的方法

• EKMP 使用高斯混合模型（GMM）对多个示范进行建模，以提取关节位置和速度的概率特征。
• 通过高斯混合回归（GMR）从GMM参数中推导出参考轨迹。
• 构建一个约束优化框架，其代价函数结合了模仿学习、避障和硬约束惩罚项。
• 通过优化中的核基正则化项强制位置与速度之间的导数关系。
• 通过基于惩罚的公式化方法处理非线性约束，引入障碍函数，使等式与不等式约束均可整合。
• 使用序列二次规划（SQP）迭代求解优化问题，通过在选定的关键点施加约束以降低计算负载。

实验结果

研究问题

• RQ1 广义的模仿学习框架是否能在保持轨迹平滑性和速度一致性的同时，处理非线性硬约束？
• RQ2 EKMP 在无需额外示范的情况下，能否有效将学习到的技能适应到新的目标状态？
• RQ3 EKMP 在避障和约束满足方面相较于基础KMP的性能提升程度如何？
• RQ4 在轨迹规划中集成笛卡尔空间约束（如末端执行器高度限制）是否能加速生成无碰撞关节轨迹？
• RQ5 该框架在真实机器人约束（如关节限位和连杆级碰撞）下的表现如何？

主要发现

• EKMP 在轨迹优化中实现了快速收敛，避障代价迅速下降——在7自由度机械臂上，10次迭代内即完成。
• 在期望点约束和末端执行器高度约束（z ≥ 0.4 m）下，EKMP 在9次迭代内即满足所有约束，即使在200个点的长轨迹上也成立。
• 仅用3次迭代，EKMP 即在仅含期望点约束下实现避障；当加入末端执行器高度约束后，仅需1次迭代即可完成。
• 轨迹图证实，关节位置与速度之间的导数关系在整个优化过程中被严格保持。
• 基础KMP无法实现避障，而EKMP生成的轨迹在所有评估场景中均成功避免了碰撞。
• 集成笛卡尔空间约束显著加速了收敛，表明高层约束可有效引导高效关节轨迹规划。