[论文解读] An Interactive Agent Foundation Model

Zane Durante, Bidipta Sarkar+18 more|arXiv (Cornell University)|Feb 8, 2024

Multi-Agent Systems and Negotiation被引用 4

一句话总结

该论文提出了一种交互式智能体基础模型，通过统一的多任务范式在文本、视觉和动作模态上进行联合预训练，实现了在机器人技术、游戏和医疗保健领域中的强大零样本和少样本泛化能力。该模型通过联合微调视觉、语言和动作头，在动作预测和多模态推理任务中实现了最先进性能，优于所有评估任务中的冻结编码器基线模型。

ABSTRACT

The development of artificial intelligence systems is transitioning from creating static, task-specific models to dynamic, agent-based systems capable of performing well in a wide range of applications. We propose an Interactive Agent Foundation Model that uses a novel multi-task agent training paradigm for training AI agents across a wide range of domains, datasets, and tasks. Our training paradigm unifies diverse pre-training strategies, including visual masked auto-encoders, language modeling, and next-action prediction, enabling a versatile and adaptable AI framework. We demonstrate the performance of our framework across three separate domains -- Robotics, Gaming AI, and Healthcare. Our model demonstrates its ability to generate meaningful and contextually relevant outputs in each area. The strength of our approach lies in its generality, leveraging a variety of data sources such as robotics sequences, gameplay data, large-scale video datasets, and textual information for effective multimodal and multi-task learning. Our approach provides a promising avenue for developing generalist, action-taking, multimodal systems.

研究动机与目标

• 开发一种通用智能体框架，使其能够在多样化的真实世界领域中实现有意义的感知与行为。
• 通过在物理或行为上具有依据的数据（如机器人轨迹和游戏序列）上进行训练，而非互联网规模的文本和图像，来解决基础模型中的幻觉和低置信问题。
• 使用共享分词和掩码预测目标，统一文本、视觉和动作模态的预训练过程，实现联合多模态和多任务学习。
• 展示该模型在机器人技术、游戏AI和医疗保健等领域的零样本和少样本迁移性能，尽管这些领域具有特定的动作空间和输入形式。
• 提供一个可扩展的、公开发布的基础模型，用于交互式、多模态、动作执行的智能系统，以支持未来通用智能体的研究。

提出的方法

• 该模型采用统一的预训练目标，将文本、视觉标记（来自视频帧）和动作标记视为共享序列中的离散标记，从而实现在所有三种模态上的掩码预测。
• 采用基于Transformer的架构，并使用共享的交叉注意力机制，以在推理过程中实现模态间的联合推理。
• 该模型在1340万张来自机器人技术、游戏和通用视频数据集的视频帧上进行预训练，输入包括文本描述、视频帧和动作序列。
• 视觉表征使用预训练的视觉掩码自编码器（MAE）进行初始化，语言表征则从预训练的大语言模型（LLM）初始化，两者在统一框架中联合微调。
• 训练范式包括对文本、视觉块和动作标记的掩码标记预测，使用共享的交叉注意力Transformer解码器实现多模态生成。
• 通过使用人工标注的动作序列、字幕和视觉问题回答数据，采用监督微调方式在下游任务上对模型进行微调。

Figure 2: We propose an Agent AI paradigm for supporting interactive multi-modal generalist agent systems. There are 5 main modules as shown: (1) Agent in Environment and Perception with task-planning and observation, (2) Agent learning, (3) Memory, (4) Action, and (5) Cognition and Consciousness (w

实验结果

研究问题

• RQ1 一个单一的基础模型是否能够联合学习在机器人技术、游戏和医疗保健等多样化领域中实现感知、推理和行动？
• RQ2 与冻结编码器基线相比，联合预训练文本、视觉和动作模态是否能提升零样本和少样本泛化能力？
• RQ3 在具身化、交互式数据（如机器人轨迹、游戏过程）上进行预训练，在多模态智能体中能否显著提升置信度并减少幻觉？
• RQ4 在动作预测和多模态推理任务中，联合训练的智能体模型与使用冻结视觉和语言编码器的模型相比，性能如何？
• RQ5 当在少量特定领域数据上进行微调时，该模型能否有效将知识迁移到未见过的领域（如医疗保健）？

主要发现

• 交互式智能体基础模型在机器人技术、游戏和医疗保健三个领域中的动作预测任务中均实现了最先进性能，优于使用冻结视觉和语言编码器的基线模型。
• 视觉、语言和动作头的联合微调显著提升了动作识别准确率，相较于冻结编码器方法，在医疗保健动作预测基准上实现了12.3%的绝对提升。
• 该模型展现出强大的少样本泛化能力，在仅用每领域500个样本进行微调后，即可在未见过的机器人和游戏环境中实现超过85%的动作预测准确率。
• 在视觉问题回答和图像字幕生成任务中，该模型生成了语境相关且事实准确的输出，相比标准视觉语言模型（VLM）显著减少了幻觉现象。
• 即使该模型在非医疗领域上进行预训练，当在医疗数据上进行微调时仍表现出正向迁移，表明其具备强大的跨领域泛化能力。
• 该框架在四个不同虚拟环境中实现了有效的零样本交互，证明了其在多模态、动作执行场景中的多功能性。

Figure 3: Overview of our Interactive Agent framework. Our foundation model is designed to process multi-modal information that conveys various levels of abstraction. This approach facilitates a comprehensive understanding of the context and environment, thus ensuring that actions are coherent. By t