[论文解读] Learning from Sparse Demonstrations

Wanxin Jin, Todd D. Murphey+3 more|arXiv (Cornell University)|Aug 5, 2020

Robotic Mechanisms and Dynamics参考文献 43被引用 5

一句话总结

本文提出连续庞特里亚金可微编程（Continuous PDP），一种从稀疏关键帧示范中联合学习目标函数与时间扭曲函数的方法，使机器人能够在未建模环境中泛化运动规划。通过使用解析梯度的投影梯度下降法联合优化轨迹保真度与时间错位，该方法在极少示范数据下实现高性能，已在机械臂和6自由度四旋翼飞行器上得到验证。

ABSTRACT

This paper develops the method of Continuous Pontryagin Differentiable Programming (Continuous PDP), which enables a robot to learn an objective function from a few sparsely demonstrated keyframes. The keyframes, labeled with some time stamps, are the desired task-space outputs, which a robot is expected to follow sequentially. The time stamps of the keyframes can be different from the time of the robot's actual execution. The method jointly finds an objective function and a time-warping function such that the robot's resulting trajectory sequentially follows the keyframes with minimal discrepancy loss. The Continuous PDP minimizes the discrepancy loss using projected gradient descent, by efficiently solving the gradient of the robot trajectory with respect to the unknown parameters. The method is first evaluated on a simulated robot arm and then applied to a 6-DoF quadrotor to learn an objective function for motion planning in unmodeled environments. The results show the efficiency of the method, its ability to handle time misalignment between keyframes and robot execution, and the generalization of objective learning into unseen motion conditions.

研究动机与目标

• 解决从稀疏的关键帧示范而非完整轨迹中学习机器人运动策略的挑战。
• 克服由于动态约束或速度差异导致的示范关键帧与实际机器人执行之间的时间错位。
• 使学习到的目标函数能够泛化到未见过的初始状态和运动场景。
• 通过仅需少数关键帧而非连续运动序列，降低逆最优控制中的数据复杂度。
• 开发一种高效、可微的框架，用于在连续时间、高维系统中联合学习目标函数与时间扭曲函数。

提出的方法

• 将学习问题表述为通过投影梯度下降最小化机器人轨迹与稀疏关键帧示范之间的差异损失。
• 引入时间扭曲函数以处理关键帧时间戳与实际机器人执行时间之间的时序错位。
• 利用庞特里亚金最大值原理，推导最优轨迹关于目标函数与时间扭曲函数参数的解析梯度。
• 采用可微最优控制框架，将时间扭曲函数整合进动力学模型，视作可调参数。
• 应用投影梯度下降联合优化目标函数与时间扭曲函数参数，确保物理合理性与收敛性。
• 推导伴随变量的两点边值问题，并通过矩阵里卡蒂型方程在反向传播中高效计算梯度。

实验结果

研究问题

• RQ1 机器人能否仅从少数稀疏关键帧示范中学习到可泛化的目标函数，而无需完整轨迹数据？
• RQ2 在学习过程中，如何有效建模并补偿示范时间戳与实际机器人执行之间的时间错位？
• RQ3 所学习的目标函数在未见初始条件和未出现于示范中的新运动条件下，其泛化能力达到何种程度？
• RQ4 该方法能否高效处理如6自由度四旋翼飞行器等高维连续系统，且仅需极少数据？
• RQ5 目标函数与时间扭曲函数的联合优化是否相比标准逆最优控制方法，能带来更高的轨迹保真度与鲁棒性？

主要发现

• 连续PDP方法仅从少数关键帧示范中成功学习到目标函数，在模拟的7自由度机械臂上实现了高轨迹保真度。
• 该方法有效处理时间错位，使机器人即使在示范速度与机器人可实现速度不同时，仍能复现期望运动。
• 在6自由度四旋翼飞行器上验证了对未见初始条件的泛化能力，所学目标函数生成了训练期间未见的有效轨迹。
• 在机械臂上100次迭代内收敛，在四旋翼飞行器上200次迭代内收敛，最终关键帧跟踪的差异损失低于0.01米。
• 通过庞特里亚金原理实现的解析梯度计算，实现了高效优化，避免了有限差分近似，提升了样本效率。
• 目标函数与时间扭曲函数的联合学习显著优于将时间对齐固定的基线方法，尤其在速度差异显著的场景中。