[论文解读] Language Is Not All You Need: Aligning Perception with Language Models

Shaohan Huang, Dong Li+16 more|arXiv (Cornell University)|Feb 27, 2023

Multimodal Machine Learning Applications被引用 164

一句话总结

Kosmos-1 是一个多模态大语言模型，完全从头开始在网页规模的文本、图像和交错的多模态数据上训练，以在语言、感知和视觉领域进行零样本和少样本推理，且不进行微调。

ABSTRACT

A big convergence of language, multimodal perception, action, and world modeling is a key step toward artificial general intelligence. In this work, we introduce Kosmos-1, a Multimodal Large Language Model (MLLM) that can perceive general modalities, learn in context (i.e., few-shot), and follow instructions (i.e., zero-shot). Specifically, we train Kosmos-1 from scratch on web-scale multimodal corpora, including arbitrarily interleaved text and images, image-caption pairs, and text data. We evaluate various settings, including zero-shot, few-shot, and multimodal chain-of-thought prompting, on a wide range of tasks without any gradient updates or finetuning. Experimental results show that Kosmos-1 achieves impressive performance on (i) language understanding, generation, and even OCR-free NLP (directly fed with document images), (ii) perception-language tasks, including multimodal dialogue, image captioning, visual question answering, and (iii) vision tasks, such as image recognition with descriptions (specifying classification via text instructions). We also show that MLLMs can benefit from cross-modal transfer, i.e., transfer knowledge from language to multimodal, and from multimodal to language. In addition, we introduce a dataset of Raven IQ test, which diagnoses the nonverbal reasoning capability of MLLMs.

研究动机与目标

• 激发需要将多模态感知与语言模型对齐以追求人工通用智能的模型的必要性。
• 开发一个能够感知通用模态、遵循指令、并在上下文中学习而不进行微调的模型。
• 展示语言模型可以作为跨模态的通用任务界面。
• 展示仅语言能力与多模态能力之间的跨模态迁移带来的好处。
• 提供基准测试和用于多模态大语言模型的新型 Raven IQ 风格的非语言推理数据集。

提出的方法

• 从头开始在网页规模的多模态语料上训练 Kosmos-1，包括交错的文本-图像数据、图像说明对以及纯文本数据。
• 以基于 Transformer 的因果语言模型作为核心接口，并嵌入多模态输入。
• 采用 Magneto 主干网络和 xPos 相对位置编码以提升稳定性和长上下文建模。
• 在混合模态上进行下一个标记预测的预训练，在训练时保持离散标记损失。
• 进行仅语言的指令微调以提升指令跟随能力并向多模态任务迁移。

实验结果

研究问题

• RQ1 多模态大语言模型（MLLM）是否能够将感知与语言模型对齐，从而在不进行微调的情况下同时完成语言与视觉任务？
• RQ2 跨模态迁移在多大程度上能够提升语言任务和感知-语言任务，反之亦然？

主要发现

• Kosmos-1 展示了在语言、感知-语言和视觉任务上无需梯度更新的零样本和少样本能力。
• 该模型受益于跨模态迁移，语言能力和多模态能力互相支持。
• 一个 Raven IQ 风格的非语言推理基准显示 Kosmos-1 可以执行零样本非语言推理，表明在视觉-文本情境中的抽象模式识别。
• 无需 OCR 的任务，如渲染文本和网页理解，在 Kosmos-1 下是可行的，无需外部工具。
• 多模态连锁思维提示通过在给出最终答案前生成中间推理过程，提升感知-语言任务的表现。