[论文解读] Goal Representations for Instruction Following: A Semi-Supervised Language Interface to Control

Vivek Myers, Andre He+8 more|arXiv (Cornell University)|Jun 30, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出GRIF，一种半监督方法，通过将语言指令与视觉状态转移（初始状态到目标状态）之间的任务表征对齐，使语言条件策略能够利用大规模未标注机器人轨迹。与仅将语言嵌入对齐到静态图像不同，GRIF通过对比学习将语言嵌入对齐到初始状态与目标状态之间的*变化*，从而在极少语言标注下实现强大的指令遵循性能，在零样本泛化和检索准确率方面优于基于CLIP的基线方法和消融实验。

ABSTRACT

Our goal is for robots to follow natural language instructions like "put the towel next to the microwave." But getting large amounts of labeled data, i.e. data that contains demonstrations of tasks labeled with the language instruction, is prohibitive. In contrast, obtaining policies that respond to image goals is much easier, because any autonomous trial or demonstration can be labeled in hindsight with its final state as the goal. In this work, we contribute a method that taps into joint image- and goal- conditioned policies with language using only a small amount of language data. Prior work has made progress on this using vision-language models or by jointly training language-goal-conditioned policies, but so far neither method has scaled effectively to real-world robot tasks without significant human annotation. Our method achieves robust performance in the real world by learning an embedding from the labeled data that aligns language not to the goal image, but rather to the desired change between the start and goal images that the instruction corresponds to. We then train a policy on this embedding: the policy benefits from all the unlabeled data, but the aligned embedding provides an interface for language to steer the policy. We show instruction following across a variety of manipulation tasks in different scenes, with generalization to language instructions outside of the labeled data. Videos and code for our approach can be found on our website: https://rail-berkeley.github.io/grif/ .

研究动机与目标

• 在多样化的真实世界环境中，仅使用极少人工标注的语言数据，使机器人能够遵循自然语言指令。
• 通过学习任务转移的共享语义对齐表征，弥合语言指令与视觉目标条件策略之间的鸿沟。
• 通过事后重标注技术，利用大规模未标注机器人轨迹，对语言条件策略进行半监督预训练。
• 通过将表征对齐到状态转移而非静态目标图像，提升语言指令在视觉状态上的定位能力。
• 通过在视觉和语言表征上使用对比学习，实现对分布外指令和环境的鲁棒零样本泛化。

提出的方法

• GRIF训练一种对比学习目标，将语言指令与初始状态和目标状态之间的*差异*（即状态转移）对齐，而非仅与目标图像对齐。
• 该方法使用CLIP作为冻结编码器处理语言和图像输入，并通过任务特定头进行策略和表征学习。
• 通过对比损失将语言和图像表征投影到共享嵌入空间，鼓励正样本对（匹配的指令与状态转移）彼此接近。
• 策略通过端到端方式在目标条件演示上进行训练，利用对齐的任务表征，同时受益于标注的语言数据和未标注的轨迹数据。
• 通过将最终状态作为目标，对未标注轨迹进行事后重标注，实现在真实机器人数据上的可扩展自监督预训练。
• 该方法将表征学习与策略训练解耦，支持使用预训练的视觉语言模型，并实现向语言条件控制的有效迁移。

Figure 1: Left: Our approach learns representations of instructions that are aligned to transitions from the initial state to the goal. When commanded with instructions, the policy $\pi$ computes the task representation $z$ from the instruction and predicts the action $a$ to solve the task. Our appr

实验结果

研究问题

• RQ1 我们能否仅使用少量语言标注数据和大规模未标注轨迹，学习一种用于目标条件策略的语言接口？
• RQ2 与对齐到静态目标图像相比，将语言表征对齐到状态转移（状态之间的变化）是否能提升定位能力和指令遵循性能？
• RQ3 一种将语言与视觉状态转移对齐的对比表征学习目标，能否泛化到未见的指令和环境？
• RQ4 当结合状态转移的对比对齐时，使用预训练视觉语言模型（CLIP）对性能有何影响？
• RQ5 该方法在语言指令分布外的情况下，尤其在语言监督有限时，其泛化能力如何？

主要发现

• GRIF在仅使用3,000个语言标注的情况下，对保留的语言指令实现了73%的图文检索准确率，显著优于缺乏任务对齐或CLIP的消融实验。
• 将语言对齐到状态转移（GRIF）相比使用非VLM编码器，检索准确率提升超过50%，证明了语义任务表征的重要性。
• GRIF在定位能力上优于基于CLIP的图像-语言对齐方法（No Start消融实验），表明对齐到状态变化比对齐到静态图像更有效。
• 在策略训练期间冻结视觉和语言编码器不会降低性能，表明对比对齐阶段已学习到鲁棒且可迁移的表征。
• 该方法能有效泛化到多样化的真实世界场景和未见指令，展示了超越训练分布的零样本泛化能力。
• 该方法仅需远少于以往方法的语言标注数据量，即可在指令遵循任务上实现优异性能，同时充分利用了海量未标注机器人数据。

Figure 2: Left: We explicitly align representations between goal-conditioned and language-conditioned tasks on the labeled dataset $\mathcal{D}_{L}$ through contrastive learning. Right: Given the pre-trained task representations, we train a policy on both labeled and unlabeled datasets.