[论文解读] Language-Conditioned Imitation Learning for Robot Manipulation Tasks

Simon Stepputtis, Joseph Campbell+4 more|arXiv (Cornell University)|Oct 22, 2020

Robot Manipulation and Learning参考文献 34被引用 21

一句话总结

本文提出了一种语言条件的模仿学习框架，使机器人能够通过结合自然语言指令与运动示范来学习操作任务。通过使用带有视觉-语言注意力机制的双分支神经架构及运动基元控制器，该模型在模拟的拾取倒出任务中实现了84%的成功率，并在人类用户试验中对自由形式的自然语言实现了64%的成功率。

ABSTRACT

Imitation learning is a popular approach for teaching motor skills to robots. However, most approaches focus on extracting policy parameters from execution traces alone (i.e., motion trajectories and perceptual data). No adequate communication channel exists between the human expert and the robot to describe critical aspects of the task, such as the properties of the target object or the intended shape of the motion. Motivated by insights into the human teaching process, we introduce a method for incorporating unstructured natural language into imitation learning. At training time, the expert can provide demonstrations along with verbal descriptions in order to describe the underlying intent (e.g., "go to the large green bowl"). The training process then interrelates these two modalities to encode the correlations between language, perception, and motion. The resulting language-conditioned visuomotor policies can be conditioned at runtime on new human commands and instructions, which allows for more fine-grained control over the trained policies while also reducing situational ambiguity. We demonstrate in a set of simulation experiments how our approach can learn language-conditioned manipulation policies for a seven-degree-of-freedom robot arm and compare the results to a variety of alternative methods.

研究动机与目标

• 通过在策略学习中引入非结构化的自然语言，解决模仿学习中缺乏灵活、类人目标指定的问题。
• 使机器人能够在任务执行过程中理解并执行多样化、自由形式的自然语言指令。
• 通过在共享潜在空间中融合语言、感知与动作，减少机器人操作中的情境歧义。
• 开发一种可泛化的端到端框架，直接将视觉观测与语言目标映射到运动控制策略。
• 在真实模拟环境和人机协同设置中，评估对视觉、物理和语言扰动的鲁棒性。

提出的方法

• 该模型采用双分支架构：高层语义网络使用视觉-语言注意力机制编码语言目标与视觉场景状态。
• 语义网络通过交叉注意力将语言描述（例如“大号绿色碗”）与物体的视觉特征对齐，实现意图的定位。
• 低层控制器网络基于融合后的语义嵌入生成运动基元参数（例如轨迹路标点）。
• 整个模型通过示范轨迹和辅助损失函数进行端到端训练，以正则化中间表示。
• 预训练组件包括用于目标检测的Faster R-CNN和用于词嵌入的GloVe，尽管该框架也兼容现代替代方案如BERT。
• 通过注意力可视化提供可解释性，使用户能够基于指令验证机器人选择的物体。

实验结果

研究问题

• RQ1 语言条件的模仿学习能否提升机器人在未见过的语言描述上对操作任务的零样本泛化能力？
• RQ2 视觉-语言注意力的整合在多大程度上增强了机器人对模糊或复杂指令的理解能力？
• RQ3 该模型在多大程度上能泛化到新用户提供的自由形式、无约束的自然语言？
• RQ4 该策略在环境发生物体重新定位或物体属性改变等视觉和物理扰动下，表现如何？
• RQ5 仅使用语言和示范数据，该模型能否在拾取倒出等序列任务中实现高成功率？

主要发现

• 在使用程序生成语言指令的模拟拾取倒出任务中，该模型实现了84%的成功率，显著优于当前最先进基线方法。
• 该模型在修饰词组合（如颜色、大小、形状及倒出量）上表现出有效泛化，证明了对语言变化的鲁棒性。
• 在人类用户试验中使用自由形式自然语言时，该模型实现了64%的成功率，表明其在无约束、类真实世界指令下的可信性能。
• 消融实验证实了辅助损失函数和注意力机制在提升策略泛化能力和可解释性方面的重要性。
• 该模型在物体重新定位和环境噪声条件下表现出抗干扰能力，性能保持稳定。
• 注意力可视化通过显示机器人将每条指令关联到哪个物体，增强了透明度、信任感和可验证性。