[논문 리뷰] STEVE-1: A Generative Model for Text-to-Behavior in Minecraft

Shalev Lifshitz, Keiran Paster외 3명|arXiv (Cornell University)|2023. 06. 01.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 $60의 컴퓨팅 자원과 2,000개의 지침 레이블이 부여된 트레이젝터리만을 사용하여 마인크래프트에서 텍스트-행동 제어를 가능하게 하는 생성 모델 STEVE-1을 소개한다. unCLIP에 영감을 받아, 미세조정된 VPT 정책과 CVAE 사전 분포를 결합하여 텍스트에서 MineCLIP 임베딩을 예측함으로써, 원시 픽셀 입력과 저수준 제어를 사용하여 13개의 초기 게임 과제 중 12개에 대해 강건한 제로샷 일반화를 실현한다.

ABSTRACT

Constructing AI models that respond to text instructions is challenging, especially for sequential decision-making tasks. This work introduces a methodology, inspired by unCLIP, for instruction-tuning generative models of behavior without relying on a large dataset of instruction-labeled trajectories. Using this methodology, we create an instruction-tuned Video Pretraining (VPT) model called STEVE-1, which can follow short-horizon open-ended text and visual instructions in Minecraft. STEVE-1 is trained in two steps: adapting the pretrained VPT model to follow commands in MineCLIP's latent space, then training a prior to predict latent codes from text. This allows us to finetune VPT through self-supervised behavioral cloning and hindsight relabeling, reducing the need for costly human text annotations, and all for only $60 of compute. By leveraging pretrained models like VPT and MineCLIP and employing best practices from text-conditioned image generation, STEVE-1 sets a new bar for open-ended instruction-following in Minecraft with low-level controls (mouse and keyboard) and raw pixel inputs, far outperforming previous baselines and robustly completing 12 of 13 tasks in our early-game evaluation suite. We provide experimental evidence highlighting key factors for downstream performance, including pretraining, classifier-free guidance, and data scaling. All resources, including our model weights, training scripts, and evaluation tools are made available for further research.

연구 동기 및 목표

• 대규모이고 비싼 지침 레이블이 부여된 트레이젝터리 데이터셋에 의존하지 않고, 마인크래프트와 같은 순차적 결정 환경에서 지시 수행을 가능하게 하기 위해.
• 자기지도 행동 복제와 후행 레이블링을 사용하여, 사전학습된 생성 모델(VPT)을 개방형, 단기 지시와 시각 지시를 따라가도록 적응시키기 위해.
• unCLIP 스타일의 정책과 사전 분포 간의 분리 및 분류기 자유 가이던스를 조합할 경우, 텍스트-행동 생성에서 성능 향상이 이루어지는지 탐색하기 위해.
• 저비용, 고정확도의 지시 튜닝이 복잡한 픽셀 기반 환경과 저수준 제어에서 가능함을 입증하기 위해.
• 연구를 가속화하기 위해 모델 가중치, 훈련 스크립트, 평가 도구를 공개하기 위해.

제안 방법

• 자신의 지도 행동 복제와 후행 레이블링을 사용하여, 사전학습된 MineCLIP 임베딩을 목표 감시로 활용하여 VPT 모델을 시각적 목표를 따르도록 미세조정함으로써, 비용이 많이 드는 텍스트 레이블링을 피함.
• 텍스트 프롬프트를 MineCLIP 임베딩 잠재 공간으로 매핑하기 위해 조건부 변동성 자동인코더(CVAE) 사전 분포를 훈련함으로써, 텍스트 조건 기반 행동 생성을 가능하게 함.
• 분류기 자유 가이던스를 사용하여 unCLIP 스타일의 추론을 적용함으로써, 조건부 출력과 무조건적 출력 양쪽에 주의를 기울일 수 있도록 하여 생성 품질과 강건성을 향상시킴.
• 두 단계 훈련 프로세스를 사용함: 첫 번째로, VPT를 MineCLIP 공간에서 시각적 목표를 달성하도록 적응; 두 번째로, 텍스트-시각 임베딩 쌍에 대해 CVAE 사전 분포를 훈련함.
• VPT(70,000시간의 게임 플레이 사전학습)와 MineCLIP(텍스트-비디오 정렬)의 사전학습을 활용하여 데이터 및 컴퓨팅 요구량을 감소시킴.
• 프롬프트 엔지니어링과 프롬프트 체이닝을 활용하여, 제작 및 건축과 같은 장기 과제에 대한 성능을 연장함.

실험 결과

연구 질문

• RQ1 최소한의 인간 레이블 지침 데이터만을 사용하여 생성 모델을 마인크래프트에서 텍스트-행동 제어에 지시 튜닝할 수 있는가?
• RQ2 unCLIP 유사한 정책과 사전 분포의 분리가 순차적 결정 환경에서 제로샷 일반화에 긍정적인 영향을 미치는가?
• RQ3 사전학습, 분류기 자유 가이던스, 데이터 스케일링이 텍스트-행동 생성의 최종 성능에 어떤 영향을 미치는가?
• RQ4 자기지도 행동 복제와 후행 레이블링을 사용하여 고비용의 지침 레이블 트레이젝터리를 효과적으로 대체할 수 있는가?
• RQ5 프롬프트 엔지니어링과 체이닝을 통해 성능을 얼마나 장기 과제에까지 확장할 수 있는가?

주요 결과

• STEVE-1은 $60의 컴퓨팅 자원과 2,000개의 지침 레이블이 부여된 세그먼트만을 사용하여 초기 게임 평가 세트에서 13개 과제 중 12개를 성공적으로 완수함.
• 모델은 '높은 풀을 부술 것, 풀을 부술 것, 씨앗을 수집할 것'과 같은 엔지니어링된 프롬프트와 같은 새로운 프롬프트 변형에도 강건하게 일반화됨.
• 분류기 자유 가이던스는 특히 복잡하거나 애매한 지시에서 생성 품질과 성공률을 크게 향상시킴.
• VPT 사전학습과 MineCLIP 시각 임베딩의 조합은 추가적인 미세조정 없이도 새로운 과제에 대해 강력한 제로샷 전이를 가능하게 함.
• 프롬프트 체이닝을 통해 모델은 단순한 프롬프팅으로는 도달하기 어려운 장기 과제인 나무 도끼 제작과 탑 건축을 해결할 수 있음.
• 자기지도 행동 복제와 후행 레이블링을 통해, 고비용의 인간 레이블 지침 트레이젝터리 의존도를 감소시킴.