[论文解读] Kosmos-2: Grounding Multimodal Large Language Models to the World

Zhiliang Peng, Wenhui Wang+5 more|arXiv (Cornell University)|Jun 26, 2023

Multimodal Machine Learning Applications被引用 130

一句话总结

Kosmos-2 是一个基于定位标记将文本片段与图像区域联系起来的多模态已定位大语言模型（grounded multimodal LLM），使用 GrIT 数据集构建，并在 grounding、referring、perception-language 和 language 任务上进行评估。

ABSTRACT

We introduce Kosmos-2, a Multimodal Large Language Model (MLLM), enabling new capabilities of perceiving object descriptions (e.g., bounding boxes) and grounding text to the visual world. Specifically, we represent refer expressions as links in Markdown, i.e., ``[text span](bounding boxes)'', where object descriptions are sequences of location tokens. Together with multimodal corpora, we construct large-scale data of grounded image-text pairs (called GrIT) to train the model. In addition to the existing capabilities of MLLMs (e.g., perceiving general modalities, following instructions, and performing in-context learning), Kosmos-2 integrates the grounding capability into downstream applications. We evaluate Kosmos-2 on a wide range of tasks, including (i) multimodal grounding, such as referring expression comprehension, and phrase grounding, (ii) multimodal referring, such as referring expression generation, (iii) perception-language tasks, and (iv) language understanding and generation. This work lays out the foundation for the development of Embodiment AI and sheds light on the big convergence of language, multimodal perception, action, and world modeling, which is a key step toward artificial general intelligence. Code and pretrained models are available at https://aka.ms/kosmos-2.

研究动机与目标

• 将 grounding 作为多模态 LLMs 的基础能力，以减少歧义并实现可视化回答。
• 引入 GrIT，一个将短语与边界框连接起来的大规模对齐图像-文本数据集。
• 在 Kosmos-1 的基础上扩展定位/对齐与指称能力，以实现基于区域的输入/输出以及文本的可视化对齐。
• 展示 Kosmos-2 在 grounding、referring、perception-language 以及 language 任务上的有效性。

提出的方法

• 将指称表达表示为 Markdown 中的超链接，将文本跨度连接到序列的定位标记。
• 通过从字幕中提取名词短语和指称表达并使用检测器（如 GLIP）和基于 spaCy 的解析将其定位到图像区域来构建 GrIT。
• 将边界框坐标离散化为定位标记，并将其附加到相应的文本跨度中，采用统一的 <grounding> 格式。
• 将 Kosmos-2 训练为基于 Transformer 的因果语言模型，从 Kosmos-1 初始化，使用定位相关数据和 next-token 目标。
• 在指令微调中，将视觉-语言与语言单独指令数据与 GrIT 的定位数据相结合，以使模型输出与定位提示对齐。

实验结果

研究问题

• RQ1 Kosmos-2 能否将文本定位到特定的图像区域并在其回答中输出边界框？
• RQ2 与先前的多模态大语言模型相比，定位/对齐对短语定位和指称表达任务的性能有何影响？
• RQ3 Kosmos-2 是否能够执行支持定位的下游任务，如定位的图像字幕生成和定位的视觉问答？
• RQ4 定位和指称能力如何与标准的感知-语言及语言任务相互作用？

主要发现

• Kosmos-2 在对齐表现上表现出色，包括短语定位和指称表达的理解，在对齐基准上超越了若干基线。
• 它在指称表达生成方面表现出色，在 RefCOCOg 上实现了零-shot 和少量-shot 的改进。
• 定位输入开启了新的下游任务，如定位的图像字幕生成和定位的视觉问答，而不牺牲核心语言与视觉语言能力。
• 在感知-语言任务（图像字幕生成和视觉问答）上，Kosmos-2 仍与 Kosmos-1 具有竞争力，未看到将定位整合带来的明显降级。
• 在标准语言任务上，Kosmos-2 与 Kosmos-1 的表现相当，某些指标有所提升（如 BoolQ、COPA），其他保持稳定。