[논문 리뷰] Learning to Model the World with Language

Jessy Lin, Yuqing Du외 5명|arXiv (Cornell University)|2023. 07. 31.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

Dynalang는 미래의 텍스트, 이미지, 보상을 예측함으로써 언어를 시각적 및 시간적 세계 역학에 고정시키는 다중모odal 에이전트입니다. 이는 작업 전용 보상에 의존하지 않고도 강력한 언어 이해와 작업 성능을 가능하게 합니다. 세계 모델링과 정책 학습을 분리하고 텍스트 및 비디오 데이터에서 사전 훈련할 수 있도록 하여, 시각-언어 탐색, 게임 플레이, 홈 환경 작업에서 최신 기술 수준의 성능을 달성합니다.

ABSTRACT

To interact with humans and act in the world, agents need to understand the range of language that people use and relate it to the visual world. While current agents can learn to execute simple language instructions, we aim to build agents that leverage diverse language -- language like "this button turns on the TV" or "I put the bowls away" -- that conveys general knowledge, describes the state of the world, provides interactive feedback, and more. Our key idea is that agents should interpret such diverse language as a signal that helps them predict the future: what they will observe, how the world will behave, and which situations will be rewarded. This perspective unifies language understanding with future prediction as a powerful self-supervised learning objective. We instantiate this in Dynalang, an agent that learns a multimodal world model to predict future text and image representations, and learns to act from imagined model rollouts. While current methods that learn language-conditioned policies degrade in performance with more diverse types of language, we show that Dynalang learns to leverage environment descriptions, game rules, and instructions to excel on tasks ranging from game-playing to navigating photorealistic home scans. Finally, we show that our method enables additional capabilities due to learning a generative model: Dynalang can be pretrained on text-only data, enabling learning from offline datasets, and generate language grounded in an environment.

연구 동기 및 목표

• 간단한 작업 지시어를 넘어서 세계 지식, 상황 기술, 피드백과 같은 다양한 언어를 이해하는 에이전트를 개발하기 위해.
• 강화 학습이 복잡한 언어 사용에 대해 약한 신호를 제공하는 바탕으로 언어를 직접 행동에 매핑하는 데서 비롯하는 한계를 해결하기 위해.
• 다중모달 세계 모델링을 위한 자기지도 학습 목표로서 언어 이해를 미래 예측과 통합하기 위해.
• 행동나 보상 없이도 텍스트 전용 또는 비디오 전용 데이터셋에서 사전 훈련이 가능하게 하여 샘플 효율성과 일반화 능력을 향상시키기 위해.
• 세계 모델에서의 상상된 롤아웃을 활용해 잠재 공간에서 언어 생성과 계획을 수행할 수 있도록 하기 위해.

제안 방법

• Dynalang는 시각적 및 텍스트 관측값을 공통 잠재 공간으로 압축하여 미래 예측을 위한 다중모달 세계 모델을 사용합니다.
• 세계 모델은 자기지도 학습을 통해 온라인 상호작용 데이터를 활용해 미래의 잠재 표현(텍스트 및 이미지)을 예측하도록 훈련됩니다.
• 행동 정책은 세계 모델의 잠재 표현을 입력으로 받아 별도로 강화 학습을 통해 훈련되며, 감지와 결정의 과정을 분리합니다.
• 텍스트 전용 또는 비디오 전용 데이터에서의 사전 훈련을 지원하여 도메인 내 언어 데이터에서의 전이 학습과 성능 향상을 가능하게 합니다.
• 잠재 공간에서 세계 모델을 롤아웃하고 토큰을 재구성함으로써 언어 생성이 가능해지며, 이는 에이전트가 환경에 대해 말할 수 있도록 합니다.
• 상상된 롤아웃을 통해 가능한 미래에 대해 계획하고 추론할 수 있으며, 잠재 상태의 확률적 샘플링을 통해 불확실성을 모델링합니다.

실험 결과

연구 질문

• RQ1 미래의 텍스트, 이미지, 보상 예측이 시각적 및 환경 역학에 언어를 고정시키기 위한 통합된 자기지도 학습 목표로 기능할 수 있는가?
• RQ2 텍스트 전용 또는 비디오 전용 데이터에서의 사전 훈련이 제로샷 또는 희소샷 설정에서의 후행 작업 성능을 어떻게 향상시키는가?
• RQ3 에이전트가 환경 기술, 규칙, 피드백과 같은 다양한 언어를 얼마나 잘 활용하여 작업 수행을 향상시킬 수 있는가?
• RQ4 명시적인 언어 모델링 목표 없이도 세계 모델이 잠재 공간에서 언어 생성과 계획을 지원할 수 있는가?
• RQ5 모델의 미래 관측값 예측 능력이 복잡한 언어 입력을 가진 다양한 작업 간의 일반화 능력을 어떻게 향상시키는가?

주요 결과

• Messenger 벤치마크에서 게임 매뉴얼을 읽고 가장 도전적인 스테이지까지 해결함으로써, Dynalang는 작업 전용 아키텍처를 능가하는 성능을 보이며 강력한 언어 고정 능력을 입증했습니다.
• TinyStories와 같은 도메인 내 소량의 텍스트에서 사전 훈련을 수행함으로써, T5 임베딩을 사용한 경우와 비교해 대부분의 성능 격차를 메울 수 있었으며, 일부 설정에선 그들을 초월하기까지 했습니다.
• 에이전트는 언어 입력에서 미래 관측값과 보상을 예측하는 능력을 습득했으며, 예를 들어 병을 집는 것이 목표가 아닐 경우 보상을 받지 못할 것임을 정확히 예측하는 등 이를 성공적으로 수행했습니다.
• 상상된 롤아웃은 세계 상태의 불확실성을 잘 반영하며, 언어 기술과 일치하는 타당한 미래를 나타내는 다양한 샘플을 제공합니다.
• 1단위 시간단위당 토큰 하나 입력이 문장 수준의 인코딩보다 성능이 뛰어나, 손실이 발생하는 문장 임베딩보다 더 많은 정보를 유지함을 시사합니다.
• 잠재 롤아웃에서 토큰을 재구성함으로써 에이전트가 일관된 언어를 생성할 수 있었으며, 이는 향후 다중모달 언어 모델로의 응용 잠재력을 보여줍니다.