[论文解读] A Geometric Perspective on Visual Imitation Learning

Jun Jin, Laura Petrich+2 more|arXiv (Cornell University)|Mar 5, 2020

Advanced Vision and Imaging参考文献 40被引用 4

一句话总结

该论文提出了VGS-IL，一种视觉模仿学习的几何视角方法，通过单个真人示范视频推断全局一致的几何特征关联，实现直接映射到视觉伺服控制器。该方法在无需监督或强化学习的情况下，实现了从人类到机器人在多种环境条件下的鲁棒泛化，通过从原始像素中优化的几何基元，展现出不变且可解释的任务概念。

ABSTRACT

We consider the problem of visual imitation learning without human supervision (e.g. kinesthetic teaching or teleoperation), nor access to an interactive reinforcement learning (RL) training environment. We present a geometric perspective to derive solutions to this problem. Specifically, we propose VGS-IL (Visual Geometric Skill Imitation Learning), an end-to-end geometry-parameterized task concept inference method, to infer globally consistent geometric feature association rules from human demonstration video frames. We show that, instead of learning actions from image pixels, learning a geometry-parameterized task concept provides an explainable and invariant representation across demonstrator to imitator under various environmental settings. Moreover, such a task concept representation provides a direct link with geometric vision based controllers (e.g. visual servoing), allowing for efficient mapping of high-level task concepts to low-level robot actions.

研究动机与目标

• 解决在无真人监督或交互式强化学习环境下的视觉模仿学习挑战。
• 将任务概念学习（'什么'）与动作策略学习（'如何'）解耦，以提升泛化能力。
• 在示范者到模仿者设置中，开发一种参数化几何、可解释且不变的任务概念表示。
• 实现与基于几何视觉的控制器（如视觉伺服）的直接集成，避免单独策略训练的需要。
• 在背景、姿态、相机、遮挡和光照等视觉变化下实现泛化。

提出的方法

• VGS-IL使用端到端优化框架，从单个真人示范视频的图像帧中推断全局一致的几何特征关联。
• 它直接从原始图像像素中优化组合形式的几何基元（如点、线、圆锥曲线）表示，避免使用手工设计的特征描述符。
• 该方法学习一种参数化几何的任务概念，对外观变化（如手或手臂形状、背景、光照）具有不变性。
• 推断出的几何关联生成的控制误差信号可直接与视觉伺服控制器兼容。
• 该框架通过多阶段优化过程进行训练，随时间推移逐步提升控制误差信号的质量。
• 它利用三维计算机视觉几何，确保所学任务概念的物理一致性和可控性。

实验结果

研究问题

• RQ1 能否仅通过一个真人示范视频，在无监督或交互式强化学习的情况下推断出全局一致的几何任务概念？
• RQ2 如何使参数化几何的任务概念在示范者与模仿者之间的视觉差异（如手部外观、背景、姿态）下保持不变？
• RQ3 所学的几何表示能否通过视觉伺服等几何视觉控制器直接映射到低层机器人动作？
• RQ4 该方法在真实世界环境变化（如相机运动、遮挡、光照变化）下的泛化能力如何？
• RQ5 该方法生成的控制误差信号能否在无需额外策略训练的情况下有效用于机器人控制？

主要发现

• VGS-IL在背景和目标姿态变化的四种任务（分类、插入、折叠、螺丝）中，成功实现了所学几何特征关联的泛化。
• 与两个基线方法相比，VGS-IL在几何特征关联选择一致性方面表现最优，如表I中的定量评分所示。
• 在五种环境变化（随机目标、相机运动、遮挡、视场损失、光照变化）下进行机器人模仿时，VGS-IL在分类任务的所有设置中均优于基线方法。
• VGS-IL生成的控制误差信号在所有训练阶段均保持‘良好’状态，且优化过程随时间推移持续提升信号质量，如图8所示。
• 无论示范者是真人还是机器人，即使手部外观和背景不同，排名第一的几何特征关联始终被一致选择。
• 该方法可直接将输出误差信号用于视觉伺服控制器，无需额外的特征跟踪或策略学习。