[论文解读] Learning to Model the World with Language

Jessy Lin, Yuqing Du+5 more|arXiv (Cornell University)|Jul 31, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

Dynalang 是一种多模态智能体，通过预测未来文本、图像和奖励来学习将语言与视觉和时间世界动态对齐，从而在不完全依赖特定任务奖励的情况下实现稳健的语言理解与任务执行。通过将世界建模与策略学习解耦，并支持在文本和视频数据上进行预训练，Dynalang 在视觉-语言导航、游戏玩法和家庭环境任务中取得了最先进性能。

ABSTRACT

To interact with humans and act in the world, agents need to understand the range of language that people use and relate it to the visual world. While current agents can learn to execute simple language instructions, we aim to build agents that leverage diverse language -- language like "this button turns on the TV" or "I put the bowls away" -- that conveys general knowledge, describes the state of the world, provides interactive feedback, and more. Our key idea is that agents should interpret such diverse language as a signal that helps them predict the future: what they will observe, how the world will behave, and which situations will be rewarded. This perspective unifies language understanding with future prediction as a powerful self-supervised learning objective. We instantiate this in Dynalang, an agent that learns a multimodal world model to predict future text and image representations, and learns to act from imagined model rollouts. While current methods that learn language-conditioned policies degrade in performance with more diverse types of language, we show that Dynalang learns to leverage environment descriptions, game rules, and instructions to excel on tasks ranging from game-playing to navigating photorealistic home scans. Finally, we show that our method enables additional capabilities due to learning a generative model: Dynalang can be pretrained on text-only data, enabling learning from offline datasets, and generate language grounded in an environment.

研究动机与目标

• 开发能够理解超越简单任务指令的多样化语言的智能体，例如世界知识、情境描述和反馈。
• 解决强化学习在直接将语言映射到动作时的局限性，因为这为复杂语言使用提供了微弱信号。
• 将语言理解与未来预测统一为多模态世界建模的自监督学习目标。
• 实现在无动作或奖励的纯文本或纯视频数据集上的预训练，以提高样本效率和泛化能力。
• 通过利用世界模型生成的想象轨迹，使智能体能够在潜在空间中生成语言并进行规划。

提出的方法

• Dynalang 使用一个多模态世界模型，将视觉和文本观测压缩到共享潜在空间中，以实现未来预测。
• 该世界模型通过自监督学习进行训练，利用在线交互数据预测未来潜在表示的文本和图像。
• 策略通过强化学习单独训练，以潜在世界模型作为输入，从而实现感知与决策的解耦。
• 该模型支持在纯文本或纯视频数据上进行预训练，实现迁移学习，并利用领域内语言数据提升性能。
• 通过在潜在空间中滚动世界模型并重构标记，实现语言生成，使智能体能够描述环境。
• 利用想象轨迹进行规划与推理，通过潜在状态的随机采样建模不确定性。

实验结果

研究问题

• RQ1 预测未来文本、图像和奖励是否可作为将语言与视觉和环境动态对齐的统一自监督目标？
• RQ2 在零样本或少样本设置下，对纯文本或纯视频数据进行预训练在多大程度上能提升下游任务性能？
• RQ3 智能体在多大程度上能学会使用多样化语言（如环境描述、规则和反馈）以提升任务执行效果？
• RQ4 世界模型是否能在不显式语言建模目标的情况下支持潜在空间中的语言生成与规划？
• RQ5 模型预测未来观测的能力在多大程度上能提升对复杂语言输入任务的泛化能力？

主要发现

• Dynalang 在 Messenger 基准测试中优于特定任务架构，通过阅读游戏手册解决了最具挑战性的关卡，展示了稳健的语言对齐能力。
• 在少量领域内文本（如 TinyStories）上进行预训练，可弥补与使用 T5 嵌入相比的大部分性能差距，甚至在某些设置下超越 T5 嵌入。
• 该模型能够从语言输入中预测未来观测和奖励，例如正确预判：若瓶子不是目标，则拾取它不会获得奖励。
• 想象轨迹表明模型捕捉到了世界状态的不确定性，不同样本代表与语言描述一致的合理未来。
• 每时间步一个标记的输入优于句子级编码，表明细粒度的标记级处理比有损的句子嵌入保留了更多信息。
• 智能体通过从潜在轨迹中重构标记生成连贯语言，表明其未来可作为多模态语言模型使用。