[論文レビュー] Goal Representations for Instruction Following: A Semi-Supervised Language Interface to Control

Vivek Myers, Andre He+8 more|arXiv (Cornell University)|Jun 30, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、言語指示と視覚的状態遷移（初期状態から目的状態）の間で整合されたタスク表現を学習する半教師あり手法GRIFを提案する。これにより、言語条件付きポリシーは大規模なラベルなしロボット軌道を活用できる。対照的に、静的な画像ではなく初期状態と目的状態の*変化*に言語埋め込みを対応付けることで、GRIFは最小限の言語アノテーションで強力な指示従い性能を達成し、ゼロショット一般化および検索精度においてCLIPベースのベースラインやアブレーションを上回る。

ABSTRACT

Our goal is for robots to follow natural language instructions like "put the towel next to the microwave." But getting large amounts of labeled data, i.e. data that contains demonstrations of tasks labeled with the language instruction, is prohibitive. In contrast, obtaining policies that respond to image goals is much easier, because any autonomous trial or demonstration can be labeled in hindsight with its final state as the goal. In this work, we contribute a method that taps into joint image- and goal- conditioned policies with language using only a small amount of language data. Prior work has made progress on this using vision-language models or by jointly training language-goal-conditioned policies, but so far neither method has scaled effectively to real-world robot tasks without significant human annotation. Our method achieves robust performance in the real world by learning an embedding from the labeled data that aligns language not to the goal image, but rather to the desired change between the start and goal images that the instruction corresponds to. We then train a policy on this embedding: the policy benefits from all the unlabeled data, but the aligned embedding provides an interface for language to steer the policy. We show instruction following across a variety of manipulation tasks in different scenes, with generalization to language instructions outside of the labeled data. Videos and code for our approach can be found on our website: https://rail-berkeley.github.io/grif/ .

研究の動機と目的

• 人間がアノテートした言語データを最小限に抑え、多様な現実世界の環境でロボットが自然言語指示に従えるようにすること。
• タスク遷移の共有で意味的に整合された表現を学習することで、言語指示と視覚的目的条件付きポリシーを橋渡しすること。
• 後悔的再ラベル化を用いて、大規模なラベルなしロボット軌道を活用し、言語条件付きポリシーの半教師あり事前学習を行うこと。
• 静的な目的画像ではなく状態遷移に言語表現を対応付けることで、言語指示の視覚的状態への根拠づけを向上させること。
• 視覚的および言語的表現に対する対照学習を用いて、分布外の指示や環境に対してもロバストなゼロショット一般化を達成すること。

提案手法

• GRIFは、目的状態画像そのものではなく、初期状態と目的状態の*差分*（すなわち状態遷移）に言語指示を対応付ける対照的オブジェクティブを訓練する。
• 言語および画像入力の両方のためのフリーズ済みエンコーダーとしてビジョン・ランゲージモデル（CLIP）を用い、ポリシーおよび表現学習のためのタスク固有のヘッドを備える。
• 言語および画像表現は、一致するペア（対応する指示と状態遷移）が近くなるように促進する対照的損失により、共有埋め込み空間に投影される。
• ポリシーは、アライメント済みタスク表現を用いて目的条件付きのデモンストレーション上でエンドツーエンドに訓練され、ラベル付き言語データとラベルなし軌道データの両方の利点を享受する。
• ラベルなし軌道は、最終状態を目的として後悔的再ラベル化され、実世界のロボットデータに対するスケーラブルな自己教師あり事前学習が可能になる。
• 表現学習とポリシー訓練を分離することで、事前学習済みVLMの使用が可能になり、言語条件付き制御への効果的な転移が実現される。

Figure 1: Left: Our approach learns representations of instructions that are aligned to transitions from the initial state to the goal. When commanded with instructions, the policy $\pi$ computes the task representation $z$ from the instruction and predicts the action $a$ to solve the task. Our appr

実験結果

リサーチクエスチョン

• RQ1 少量の言語アノテート済みデータと大規模なラベルなし軌道データのみを用いて、目的条件付きポリシーのための言語インターフェースを学習できるか？
• RQ2 静的な目的画像ではなく状態遷移（状態間の変化）に言語表現を対応付けることで、言語の根拠づけと指示従い性能が向上するか？
• RQ3 言語と視覚的状態遷移を対忾する対照的表現学習オブジェクティブが、未観測の指示や環境に一般化できるか？
• RQ4 事前学習済みビジョン・ランゲージモデル（CLIP）を状態遷移への対照的アライメントと組み合わせた場合、性能にどのような影響を与えるか？
• RQ5 本手法は、特に言語監視が限られている状況でも、トレーニング分布外の言語指示にどの程度一般化できるか？

主な発見

• GRIFは、わずか3,000件の言語アノテーションで、保留された言語指示に対して73%のテキスト対画像検索精度を達成し、タスクアライメントやCLIPを欠落させたアブレーションを著しく上回る。
• 状態遷移への対照的アライメント（GRIF）は、非VLMエンコーダーを用いる場合と比較して、検索精度を50%以上向上させ、意味的なタスク表現の重要性を示している。
• GRIFは、静的な画像へのアライメント（No Startアブレーション）よりも、言語の根拠づけにおいて優れている。これは、状態の変化にアライメントすることが、静的な画像へのアライメントよりも効果的であることを示している。
• ポリシー訓練中にビジョンおよび言語エンコーダーをフリーズしても性能に劣化が生じない。これは、対照的アライメントフェーズがすでに強固で転送可能な表現を学習していることを示している。
• 本手法は、多様な現実世界のシーンや未観測の指示に対しても、効果的に一般化でき、トレーニング分布外のゼロショット一般化を実現している。
• 本手法は、従来の手法が要請する言語アノテートデータのわずか一部で、指示従いタスクにおける優れた性能を達成できる一方で、膨大な量のラベルなしロボットデータを活用している。

Figure 2: Left: We explicitly align representations between goal-conditioned and language-conditioned tasks on the labeled dataset $\mathcal{D}_{L}$ through contrastive learning. Right: Given the pre-trained task representations, we train a policy on both labeled and unlabeled datasets.