[论文解读] Learning Periodic Tasks from Human Demonstrations

Jingyun Yang, Ruoyu Zhang+4 more|arXiv (Cornell University)|Sep 28, 2021

Robot Manipulation and Learning被引用 4

一句话总结

该论文提出ViPTL方法，通过单次无标记、无标注的人类视频示范，实现对周期性机器人操作技能的端到端学习。通过结合节奏性DMP、无监督关键点追踪与贝叶斯优化，ViPTL在50次机器人试验内，成功实现对柔性与颗粒状物体操作（如擦拭、缠绕、搅拌）的高精度模仿。

ABSTRACT

We develop a method for learning periodic tasks from visual demonstrations. The core idea is to leverage periodicity in the policy structure to model periodic aspects of the tasks. We use active learning to optimize parameters of rhythmic dynamic movement primitives (rDMPs) and propose an objective to maximize the similarity between the motion of objects manipulated by the robot and the desired motion in human video demonstrations. We consider tasks with deformable objects and granular matter whose states are challenging to represent and track: wiping surfaces with a cloth, winding cables/wires, and stirring granular matter with a spoon. Our method does not require tracking markers or manual annotations. The initial training data consists of 10-minute videos of random unpaired interactions with objects by the robot and human. We use these for unsupervised learning of a keypoint model to get task-agnostic visual correspondences. Then, we use Bayesian optimization to optimize rDMPs from a single human video demonstration within few robot trials. We present simulation and hardware experiments to validate our approach.

研究动机与目标

• 实现从非结构化人类视频示范中，样本高效地学习周期性操作任务。
• 解决在无手动标注或标记的情况下，对柔性与颗粒状物体状态的表示与追踪问题。
• 利用人类示范中的周期性特征，降低长时序、重复性任务的学习复杂度。
• 构建一个可泛化于多种涉及非刚性材料的周期性任务的感知与优化框架。
• 在极少人工干预与极少机器人试验次数下，实现高精度模仿性能。

提出的方法

• 使用节奏性动态运动基函数（rDMP）建模周期性运动，并通过平移参数实现时间自适应。
• 利用与任务无关的机器人自主演示数据，无监督地检测关键点，建立人类与机器人动作之间的视觉对应关系。
• 应用周期性估计方法，将人类示范分割为单周期组件，用于rDMP训练。
• 采用基于关键点距离的相似性目标，结合贝叶斯优化（BO）以优化rDMP参数。
• 从机器人自主演示数据中生成“想象”轨迹，作为BO的热启动候选，提升样本效率。
• 通过机器人执行与人类示范帧之间的关键点距离度量，计算运动相似性。

Figure 1 : Examples of everyday periodic tasks. Our robot learns to imitate wiping, stirring and winding from human video demonstrations (top row).

实验结果

研究问题

• RQ1 机器人能否仅通过一次非结构化的单人视频示范，成功学习涉及柔性与颗粒状材料的复杂周期性操作任务？
• RQ2 无监督关键点模型在无真实标注的情况下，对运动相似性计算的有效性如何？
• RQ3 在策略结构中利用周期性特征，能在多大程度上提升模仿学习的样本效率？
• RQ4 基于关键点评分的贝叶斯优化是否能优于无模型或基于动力学的基线方法，在周期性任务模仿中表现更优？
• RQ5 该方法在现实世界随机动力学下，对擦拭、缠绕、搅拌等多样化任务的泛化能力如何？

主要发现

• ViPTL仅通过一次人类视频示范与50次机器人试验，成功学习了桌面擦拭、绳索缠绕与食物搅拌任务。
• 在三项任务中，该方法均优于直接模仿与基于模型的模仿学习基线，尤其在处理柔性与颗粒状材料时表现更优。
• 基于关键点的代价函数显著优于基于分类器的度量方式，后者在所有任务中均表现出有限的准确性。
• 结合想象轨迹热启动的贝叶斯优化，能快速收敛至高分rDMP参数，实现各轮试验中的一致性性能提升。
• 在真实世界实验中，ViPTL在动态随机性增强的条件下仍保持优异性能，而直接模仿基线因对真实世界动力学敏感而表现欠佳。
• 消融实验验证了感知模块（关键点模型）与优化模块（带热启动的BO）对高性能的必要性。

Figure 2 : Overview of the proposed approach. Our method is composed of two modules: the unsupervised visual representation module and the parameter optimization module. The unsupervised module learns a model for keypoint correspondences between the motions of the objects in the human demonstration