[论文解读] Learning by Watching: Physical Imitation of Manipulation Skills from Human Videos

Haoyu Xiong, Quanzhou Li+4 more|arXiv (Cornell University)|Jan 18, 2021

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出学习观看（LbW）框架，通过无监督的人类到机器人图像转换与关键点检测，使机器人能够通过模仿人类视频学习操作技能。通过从转换后的机器人视频中生成语义有意义的关键点表示，LbW仅需一次人类示范即在五个操作任务上实现最先进性能。

ABSTRACT

Learning from visual data opens the potential to accrue a large range of manipulation behaviors by leveraging human demonstrations without specifying each of them mathematically, but rather through natural task specification. In this paper, we present Learning by Watching (LbW), an algorithmic framework for policy learning through imitation from a single video specifying the task. The key insights of our method are two-fold. First, since the human arms may not have the same morphology as robot arms, our framework learns unsupervised human to robot translation to overcome the morphology mismatch issue. Second, to capture the details in salient regions that are crucial for learning state representations, our model performs unsupervised keypoint detection on the translated robot videos. The detected keypoints form a structured representation that contains semantically meaningful information and can be used directly for computing reward and policy learning. We evaluate the effectiveness of our LbW framework on five robot manipulation tasks, including reaching, pushing, sliding, coffee making, and drawer closing. Extensive experimental evaluations demonstrate that our method performs favorably against the state-of-the-art approaches.

研究动机与目标

• 在无需专家动作标注的情况下，实现从单个真人视频对物理操作技能的模仿。
• 通过学习无监督的人类到机器人图像转换，解决人类与机器人手臂之间的形态差异问题。
• 通过在转换后的机器人视频帧中检测语义有意义的关键点，提升状态表征学习效果。
• 设计基于关键点轨迹的奖励函数，通过强化学习实现高效策略学习。
• 仅使用一次人类示范，在多种多样的操作任务中展示泛化能力与鲁棒性。

提出的方法

• 利用无监督图像到图像转换模型（如CycleGAN）将人类示范视频转换为类似机器人领域视频，以最小化领域差异。
• 在转换后的机器人视频帧上执行无监督关键点检测，以提取结构化且语义有意义的表征。
• 将检测到的关键点用作下游策略学习的状态表征，替代传统的基于图像的特征。
• 基于智能体的关键点轨迹与转换后示范的关键点轨迹之间的L2距离设计奖励函数。
• 使用SAC+AE（一种样本高效、非策略型强化学习算法）结合基于关键点的奖励信号训练策略。
• 将感知与策略训练解耦：感知在未配对的人类与机器人视频上进行训练，而策略则在单个真人视频上进行训练。

Figure 1 : LbW. Given a single human video, our LbW framework learns human to robot translation followed by unsupervised keypoint detection. The resulting keypoint-based representations are semantically meaningful and can be used to guide the robot to learn manipulation skills through physical imita

实验结果

研究问题

• RQ1 机器人能否在无专家动作序列可用的情况下，仅从单个真人视频中学习复杂操作技能？
• RQ2 无监督图像转换与关键点检测如何协同减少人类与机器人视觉领域之间的领域差距？
• RQ3 基于关键点的状态表征是否优于视频模仿学习中的标准图像特征？
• RQ4 所提出的框架是否能在极低监督下跨多种多样的操作任务实现泛化？
• RQ5 图像到图像转换中的视觉伪影对下游策略性能有何影响，以及如何缓解？

主要发现

• LbW在抓取与推动任务中实现100%成功率，优于AVID-m与分类器奖励基线方法。
• 在更复杂的滑动、咖啡制作与抽屉关闭任务中，LbW的成功率高于AVID-m与分类器奖励方法，展现出更优的泛化能力。
• 视觉分析表明，AVID-m的图像转换会产生显著伪影（如物体缺失、姿态错位），从而降低策略性能。
• 基于关键点的表征相比直接从转换图像中提取特征，能实现更鲁棒且语义更清晰的状态编码。
• LbW仅使用一次真人示范即达到最先进性能，而AVID-m使用15段，分类器奖励方法使用35段专家视频。
• 该框架在两个不同仿真环境（OpenAI Gym与Meta-World）中均表现优异，表明其具有广泛适用性。

Figure 2 : Overview of the proposed LbW. Our LbW framework is composed of three main components: an image-to-image translation network $T$ , a keypoint detector $\Psi$ , and a policy network $\pi$ . The image-to-image translation network translates the input human demonstration video frame by frame