[논문 리뷰] Goal Representations for Instruction Following: A Semi-Supervised Language Interface to Control

Vivek Myers, Andre He외 8명|arXiv (Cornell University)|2023. 06. 30.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 언어 지시문과 시각적 상태 전이(초기 상태에서 목표 상태로의 전이) 간의 정렬된 작업 표현을 학습하는 반감독 방법인 GRIF를 제안한다. 이를 통해 언어 조건부 정책는 대규모의 레이블이 없는 로봇 트레이제터리를 활용할 수 있다. 대조적으로, 정적 이미지가 아닌 초기 상태와 목표 상태 간의 *변화*에 언어 임베딩를 정렬함으로써 GRIF는 최소한의 언어 레이블을 사용하여 강력한 지시 수행 성능를 달성하며, 제로샷 일반화 및 검색 정확도에서 CLIP 기반 베이스라인과 아블레이션을 능가한다.

ABSTRACT

Our goal is for robots to follow natural language instructions like "put the towel next to the microwave." But getting large amounts of labeled data, i.e. data that contains demonstrations of tasks labeled with the language instruction, is prohibitive. In contrast, obtaining policies that respond to image goals is much easier, because any autonomous trial or demonstration can be labeled in hindsight with its final state as the goal. In this work, we contribute a method that taps into joint image- and goal- conditioned policies with language using only a small amount of language data. Prior work has made progress on this using vision-language models or by jointly training language-goal-conditioned policies, but so far neither method has scaled effectively to real-world robot tasks without significant human annotation. Our method achieves robust performance in the real world by learning an embedding from the labeled data that aligns language not to the goal image, but rather to the desired change between the start and goal images that the instruction corresponds to. We then train a policy on this embedding: the policy benefits from all the unlabeled data, but the aligned embedding provides an interface for language to steer the policy. We show instruction following across a variety of manipulation tasks in different scenes, with generalization to language instructions outside of the labeled data. Videos and code for our approach can be found on our website: https://rail-berkeley.github.io/grif/ .

연구 동기 및 목표

• 최소한의 인간 레이블이 부여된 언어 데이터를 사용하여 다양한 실제 환경에서 로봇이 자연어 지시를 수행할 수 있도록 하는 것.
• 작업 전이의 공통이고 의미적으로 정렬된 표현을 학습하여 언어 지시문과 시각적 목표 조건부 정책를 연결하는 것.
• 후회적 재레이블링을 통해 대규모의 레이블이 없는 로봇 트레이제터리를 활용하여 언어 조건부 정책의 반감독 사전 훈련을 수행하는 것.
• 정적 목표 이미지가 아닌 상태 전이에 표현을 정렬하여 언어 지시의 시각적 상태에 대한 정착성( grounding )을 향상시키는 것.
• 시각적 및 언어 표현에 대한 대조 학습을 통해 분포를 벗어난 지시문과 환경으로의 강력한 제로샷 일반화를 달성하는 것.

제안 방법

• GRIF는 목표 이미지 자체가 아니라 초기 상태와 목표 상태 간의 *차이*(즉, 상태 전이)에 언어 지시문을 정렬하는 대조적 목표를 훈련한다.
• 이 방법은 언어 및 이미지 입력에 대해 고정된 인코더로 CLIP(비전-언어 모델)를 사용하며, 정책 및 표현 학습을 위한 작업 전용 헤드를 갖춘다.
• 언어 및 이미지 표현은 대조 손실을 통해 공통 임베딩 공간으로 투영되며, 이는 일치하는 쌍(지시문과 상태 전이가 일치하는 쌍)이 가까이 있도록 유도한다.
• 정렬된 작업 표현을 사용하여 목표 조건부 시연 데이터를 기반으로 정책을 종단 간(end-to-end)으로 훈련하며, 레이블이 부여된 언어 데이터와 레이블이 없는 트레이제터리 데이터 양쪽 모두의 이점을 얻는다.
• 레이블이 없는 트레이제터리는 최종 상태를 목표로 삼아 후회적 재레이블링을 통해 스케일러블한 자기지도 사전 훈련을 실현한다.
• 표현 학습과 정책 훈련을 분리함으로써 사전 훈련된 VLM을 사용할 수 있으며, 언어 조건부 제어로의 효과적인 전이를 가능하게 한다.

Figure 1: Left: Our approach learns representations of instructions that are aligned to transitions from the initial state to the goal. When commanded with instructions, the policy $\pi$ computes the task representation $z$ from the instruction and predicts the action $a$ to solve the task. Our appr

실험 결과

연구 질문

• RQ1 작은 양의 언어 레이블이 부여된 데이터와 대규모의 레이블이 없는 트레이제터리를 사용하여 목표 조건부 정책를 위한 언어 인터페이스를 학습할 수 있는가?
• RQ2 정적 목표 이미지가 아닌 상태 전이(상태 간 변화)에 언어 표현을 정렬하는 것이, 정적 목표 이미지에 정렬하는 것보다 언어 정착성과 지시 수행 성능를 향상시키는가?
• RQ3 언어와 시각적 상태 전이를 정렬하는 대조적 표현 학습 목표가 분포를 벗어난 지시문과 환경으로 일반화 가능한가?
• RQ4 사전 훈련된 비전-언어 모델(CLIP)을 상태 전이에 대조적 정렬과 결합할 경우 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 특히 언어 지시 데이터가 제한된 상황에서 훈련 분포 외부의 언어 지시에 얼마나 잘 일반화되는가?

주요 결과

• GRIF는 레이블이 없는 언어 지시문에 대해 3,000개의 언어 레이블만으로도 보류된 지시문에서 73%의 텍스트-이미지 검색 정확도를 달성하며, 작업 정렬 없이 또는 CLIP를 사용하지 않는 아블레이션보다 뚜렷이 뛰어나다.
• GRIF는 언어 표현을 상태 전이에 대조적으로 정렬함으로써, 비-VLM 인코더를 사용하는 경우보다 검색 정확도를 50% 이상 향상시키며, 의미적인 작업 표현의 중요성을 입증한다.
• GRIF는 정적 이미지에 정렬하는 CLIP 스타일의 이미지-언어 정렬(No Start 아블레이션)보다 언어 정착성에서 더 뛰어나며, 상태 변화에 정렬하는 것이 정적 이미지에 정렬하는 것보다 더 효과적임을 보여준다.
• 정책 훈련 중에 비전 및 언어 인코더를 고정해도 성능 저하가 발생하지 않으며, 이는 대조적 정렬 단계에서 이미 강력하고 이식 가능한 표현을 학습했다는 것을 시사한다.
• 이 방법은 다양한 실제 환경과 예측되지 않은 지시문으로도 효과적으로 일반화되며, 훈련 분포 외부로의 제로샷 일반화를 입증한다.
• 이 방법은 이전의 방법들이 요구하는 언어 레이블이 부여된 데이터의 극소수만으로도 지시 수행 작업에서 뛰어난 성능를 달성할 수 있으며, 동시에 막대한 양의 레이블이 없는 로봇 데이터를 활용한다.

Figure 2: Left: We explicitly align representations between goal-conditioned and language-conditioned tasks on the labeled dataset $\mathcal{D}_{L}$ through contrastive learning. Right: Given the pre-trained task representations, we train a policy on both labeled and unlabeled datasets.