[论文解读] Transformers for One-Shot Visual Imitation

Sudeep Dasari, Abhinav Gupta|arXiv (Cornell University)|Nov 11, 2020

Multimodal Machine Learning Applications参考文献 57被引用 7

一句话总结

本文提出了一种基于Transformer的策略网络，用于少样本视觉模仿学习，通过利用教师智能体的上下文视频和自监督逆动力学损失，在领域分布变化下实现泛化。通过关注与任务相关的视觉特征并保持动力学感知的表征，该方法在少样本操作任务上的成功率相比先前基线方法提升了约2倍。

ABSTRACT

Humans are able to seamlessly visually imitate others, by inferring their intentions and using past experience to achieve the same end goal. In other words, we can parse complex semantic knowledge from raw video and efficiently translate that into concrete motor control. Is it possible to give a robot this same capability? Prior research in robot imitation learning has created agents which can acquire diverse skills from expert human operators. However, expanding these techniques to work with a single positive example during test time is still an open challenge. Apart from control, the difficulty stems from mismatches between the demonstrator and robot domains. For example, objects may be placed in different locations (e.g. kitchen layouts are different in every house). Additionally, the demonstration may come from an agent with different morphology and physical appearance (e.g. human), so one-to-one action correspondences are not available. This paper investigates techniques which allow robots to partially bridge these domain gaps, using their past experience. A neural network is trained to mimic ground truth robot actions given context video from another agent, and must generalize to unseen task instances when prompted with new videos during test time. We hypothesize that our policy representations must be both context driven and dynamics aware in order to perform these tasks. These assumptions are baked into the neural network using the Transformers attention mechanism and a self-supervised inverse dynamics loss. Finally, we experimentally determine that our method accomplishes a $\sim 2$x improvement in terms of task success rate over prior baselines in a suite of one-shot manipulation tasks.

研究动机与目标

• 解决机器人领域中少样本视觉模仿学习的挑战，即机器人需在单一示范下学习，且面临领域分布变化（如不同布局、形态）。
• 克服仅依赖行为克隆的先前方法的局限性，这些方法在低数据场景下泛化能力差且易过拟合。
• 开发一种兼具上下文驱动与动力学感知特性的策略，实现在未见任务实例和环境中的鲁棒性能。
• 探究自监督损失与注意力机制是否能在无需大量微调的情况下提升少样本模仿学习的泛化能力。

提出的方法

• 使用Transformer编码器处理机器人当前观测和教师智能体示范视频的空间ResNet特征。
• 应用多头自注意力机制，学习与任务相关的关联表征，聚焦于显著视觉元素（如物体位置），同时忽略干扰因素。
• 基于上下文感知的状态表征，使用行为克隆损失训练策略，以模仿专家动作。
• 引入自监督逆动力学损失以正则化表征学习，确保其捕捉与运动相关的关键动力学信息，提升控制鲁棒性。
• 在训练过程中应用数据增强（如随机裁剪、颜色抖动），以提升泛化能力并减少过拟合。
• 将策略条件设置为完整的示范视频，而非单个目标帧，以实现更好的任务理解与上下文感知的动作预测。

实验结果

研究问题

• RQ1 与循环或前馈基线相比，基于Transformer的架构结合自注意力机制是否能提升少样本视觉模仿学习的性能？
• RQ2 在仅提供单一示范的情况下，自监督逆动力学损失在提升泛化能力方面的有效性如何？
• RQ3 将策略条件设置为完整示范视频（而非单帧）是否能带来更好的任务理解与更高的成功率？
• RQ4 在低数据模仿学习设置中，架构偏差（如注意力机制）与损失函数在提升测试性能方面如何协同作用？
• RQ5 所提方法是否能在无需微调的情况下，跨领域分布变化（如不同物体摆放或机器人形态）实现泛化？

主要发现

• 所提出的基于Transformer的策略在一系列抓取与放置任务中，相比先前的少样本模仿学习基线，任务成功率提升了约2倍。
• 当使用1600组数据对训练时，不包含逆动力学损失的模型性能比其对应模型差超过25%，表明该正则化项具有关键作用。
• 逆动力学损失在测试阶段的性能提升超出了行为克隆损失所捕捉的范围，表明其能实现训练目标未体现的正向迁移。
• 即使使用相同的训练损失，Transformer模型在性能上也大幅优于所有其他架构（包括LSTM和ResNet基模型）。
• 移除逆损失在所有数据设置下均导致性能显著下降，尤其在低数据场景下更为明显，证实其对泛化能力的重要性。
• 与仅使用单帧相比，将策略条件设置为完整示范视频能带来更优性能，表明上下文信息对任务理解至关重要。