[论文解读] Instruction-Following Agents with Multimodal Transformer

Hao Líu, Lisa Lee+2 more|arXiv (Cornell University)|Oct 24, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

该论文提出 Instruct RL，一种统一的多模态变换器架构，可联合编码语言指令与视觉观测，用于指令跟随型机器人智能体。通过利用预训练的多模态变换器实现跨模态对齐，并结合基于变换器的策略网络进行动作预测，该方法在 74 个 RLBench 任务中实现了最先进性能，展现出卓越的泛化能力、可扩展性以及对长而详细的指令的鲁棒性。

ABSTRACT

Humans are excellent at understanding language and vision to accomplish a wide range of tasks. In contrast, creating general instruction-following embodied agents remains a difficult challenge. Prior work that uses pure language-only models lack visual grounding, making it difficult to connect language instructions with visual observations. On the other hand, methods that use pre-trained multimodal models typically come with divided language and visual representations, requiring designing specialized network architecture to fuse them together. We propose a simple yet effective model for robots to solve instruction-following tasks in vision-based environments. Our \ours method consists of a multimodal transformer that encodes visual observations and language instructions, and a transformer-based policy that predicts actions based on encoded representations. The multimodal transformer is pre-trained on millions of image-text pairs and natural language text, thereby producing generic cross-modal representations of observations and instructions. The transformer-based policy keeps track of the full history of observations and actions, and predicts actions autoregressively. Despite its simplicity, we show that this unified transformer model outperforms all state-of-the-art pre-trained or trained-from-scratch methods in both single-task and multi-task settings. Our model also shows better model scalability and generalization ability than prior work.

研究动机与目标

• 为解决创建通用、可扩展的指令跟随型智能体的挑战，使其能在多样化任务与环境中实现泛化。
• 克服仅语言模型的局限性，后者缺乏视觉基础，以及视觉与语言表征分离的多模态模型的不足。
• 开发一种简单、统一的架构，避免复杂的融合模块，同时实现语言指令与视觉观测之间强大的跨模态对齐。
• 提升在长而详细的指令、多任务学习以及对未见任务变体的零样本泛化方面的性能。
• 证明模型可扩展性可在不增加架构复杂度的前提下提升性能，从而实现更好的泛化与鲁棒性。

提出的方法

• 该模型使用一个预训练的多模态变换器（Geng et al., 2022），在图像-文本对和纯文本数据上进行联合微调，以生成视觉观测与语言指令的通用跨模态表征。
• 来自多个摄像头的视觉观测、语言指令、本体感觉数据以及动作历史被分词并嵌入为序列，输入多模态变换器。
• 多模态变换器编码语言与视觉之间的跨模态依赖关系，实现指令与视觉内容之间的细粒度对齐。
• 一个独立的基于变换器的策略网络基于编码观测与动作的完整历史，自回归地预测 7-自由度机器人动作（位置、旋转、夹爪状态）。
• 该架构通过使用统一的变换器端到端处理所有模态，避免了专用的融合模块，从而简化了训练与推理过程。
• 该模型在 RLBench 基准上通过强化学习进行训练，策略优化结合了模仿学习与密集奖励塑造。

实验结果

研究问题

• RQ1 统一的多模态变换器架构是否能在指令跟随型机器人任务中超越使用独立视觉与语言编码器及定制融合模块的现有方法？
• RQ2 预训练的多模态模型在未见任务变体（如不同物体颜色或顺序）上实现零样本泛化的程度如何？
• RQ3 在使用统一变换器架构时，模型可扩展性对指令跟随型任务性能有何影响？
• RQ4 该模型是否能有效遵循长而详细的自然语言指令而不导致性能下降？
• RQ5 在单一变换器中联合编码视觉与语言是否相比解耦流水线能实现更好的跨模态对齐？

主要发现

• Instruct RL 在 RLBench 基准的全部 74 项任务中均实现了最先进性能，优于先前方法如 CLIPort、HiveFormer 和 SayCan。
• 该模型能有效泛化到未见的任务变体，例如积木堆叠任务中不同的物体颜色或顺序，展现出强大的零样本泛化能力。
• Instruct RL 在长而详细的指令上表现出色，表明其具备强大的语言理解能力与视觉上下文中的语言定位能力。
• 性能随模型规模增大而提升，证明了强大的可扩展性以及统一架构的有效性。
• 该方法在多任务学习设置中表现出高成功率，表明其在多样化操作任务间具备稳健的迁移能力。
• 无需专用融合模块的统一架构，其性能优于需要复杂融合组件的先前方法。