[论文解读] Graph-Structured Visual Imitation

Maximilian Sieb, Xian Zhou+3 more|arXiv (Cornell University)|Jul 11, 2019

Multimodal Machine Learning Applications参考文献 45被引用 14

一句话总结

本文提出图结构视觉模仿（Graph-Structured Visual Imitation），一种利用分层视觉实体图（VEGs）编码物体、部件和点及其动态3D空间关系的视觉模仿方法。通过利用自监督点与物体检测器以及人体手部关键点追踪，该方法在无需环境传感器的情况下，实现了对真实机器人单次示范的鲁棒模仿，在包括推动、堆叠和倾倒在内的多种操作任务中，其泛化能力和成功率优于全帧卷积神经网络（CNN）基线模型。

ABSTRACT

We cast visual imitation as a visual correspondence problem. Our robotic agent is rewarded when its actions result in better matching of relative spatial configurations for corresponding visual entities detected in its workspace and teacher's demonstration. We build upon recent advances in Computer Vision,such as human finger keypoint detectors, object detectors trained on-the-fly with synthetic augmentations, and point detectors supervised by viewpoint changes and learn multiple visual entity detectors for each demonstration without human annotations or robot interactions. We empirically show the proposed factorized visual representations of entities and their spatial arrangements drive successful imitation of a variety of manipulation skills within minutes, using a single demonstration and without any environment instrumentation. It is robust to background clutter and can effectively generalize across environment variations between demonstrator and imitator, greatly outperforming unstructured non-factorized full-frame CNN encodings of previous works.

研究动机与目标

• 实现无需人工标注数据或机器人交互的单次示范视觉模仿机器人操作技能。
• 通过解耦视觉场景中的'是什么'与'在哪里'，提升在物体几何形状、视角和背景杂波变化下的泛化能力。
• 开发针对场景的自监督视觉检测器，用于物体、点和人体手部，以实现示范者与模仿者之间的对应匹配。
• 用因子化、基于图的表示替代全帧CNN编码，以捕捉空间关系，提升模仿性能。
• 仅通过单次示范和极少的真实世界试验，在真实Baxter机器人上实现成功模仿。

提出的方法

• 该方法构建视觉实体图（VEGs），其中节点代表持久的视觉实体（物体、部件、点、手部），边编码其随时间变化的相对3D空间排列。
• 利用视角变化训练自监督点检测器，而物体和部件检测器则在示范视频帧的合成增强数据上进行训练。
• 使用人体手部关键点检测器解析示范者的手部轨迹，实现对抓取和伸展动作的细粒度模仿。
• 通过在每个时间步测量示范者VEG与模仿者VEG中对应节点对之间相对空间构型的一致性，定义奖励函数。
• 采用带轨迹优化的强化学习方法，学习最大化此感知奖励的策略，仅需少量真实世界交互。
• 图结构为分层结构，并根据运动显著性动态更新，实体移动或被遮挡时，边被添加或移除。

实验结果

研究问题

• RQ1 是否一种解耦视觉实体及其空间关系的图结构视觉表征，能够实现对操作技能的鲁棒单次模仿？
• RQ2 自监督的点、物体和人体手部视觉检测器是否能在无需人工标注的情况下，建立示范者与模仿者之间的可靠对应关系？
• RQ3 与全帧CNN编码相比，所提出的基于VEG的奖励函数是否在物体几何形状、视角和背景杂波变化下具有更好的泛化能力？
• RQ4 是否仅通过单次示范和极少的真实世界交互，即可实现成功模仿，而无需专家动作标签或机器人示范数据？
• RQ5 在需要精细操作的任务中，引入人体手部关键点追踪如何提升模仿性能？

主要发现

• 机器人成功完成了原始黄色八边形推动任务的全部5次运行，以及较小橙色方形任务的4次运行，展示了对物体尺寸和空间构型变化的鲁棒性。
• 在方向改变推动任务中，机器人在8轮轨迹优化后成功完成，而TCN基线完全失败，表明该方法能够处理非连续接触任务。
• 在堆叠任务中，机器人学会了抓取并定位黄色八边形和更具挑战性的扁平橙色方形，在大多数试验中取得成功，尽管后者抓取难度较高。
• 在倾倒任务中，该方法泛化到一种新型的、形状和纹理不同的水桶，在全部10轮优化迭代中成功旋转并移动至正确方向。
• TCN基线未能将水桶旋转至正确倾倒方向，表明在缺乏结构化视觉对应关系的情况下，学习精细旋转控制存在局限。
• 该方法在泛化能力和成功率方面优于全帧CNN基线，且达到相当性能所需视频样本显著更少。