[论文解读] GLaMM: Pixel Grounding Large Multimodal Model

Hanoona Rasheed, Muhammad Maaz+8 more|arXiv (Cornell University)|Nov 6, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

GLaMM 是首个能够将自然语言响应与像素级分割掩码无缝集成的大型多模态模型，支持基于文本和视觉提示的可 grounded、交互式对话。它通过一个大规模、自动标注的数据集（GranD），包含 8.1 亿个区域和 750 万个独特概念，在可 grounded 对话生成、指代表达分割和图像字幕生成任务上达到最先进性能。

ABSTRACT

Large Multimodal Models (LMMs) extend Large Language Models to the vision domain. Initial LMMs used holistic images and text prompts to generate ungrounded textual responses. Recently, region-level LMMs have been used to generate visually grounded responses. However, they are limited to only referring to a single object category at a time, require users to specify the regions, or cannot offer dense pixel-wise object grounding. In this work, we present Grounding LMM (GLaMM), the first model that can generate natural language responses seamlessly intertwined with corresponding object segmentation masks. GLaMM not only grounds objects appearing in the conversations but is flexible enough to accept both textual and optional visual prompts (region of interest) as input. This empowers users to interact with the model at various levels of granularity, both in textual and visual domains. Due to the lack of standard benchmarks for the novel setting of visually Grounded Conversation Generation (GCG), we introduce a comprehensive evaluation protocol with our curated grounded conversations. Our proposed GCG task requires densely grounded concepts in natural scenes at a large-scale. To this end, we propose a densely annotated Grounding-anything Dataset (GranD) using our proposed automated annotation pipeline that encompasses 7.5M unique concepts grounded in a total of 810M regions available with segmentation masks. Besides GCG, GLaMM also performs effectively on several downstream tasks, e.g., referring expression segmentation, image and region-level captioning and vision-language conversations.

研究动机与目标

• 解决缺乏在多模态对话中提供密集像素级定位的模型的问题。
• 将孤立的视觉-语言任务（如指代表达分割、字幕生成和视觉问答）统一到一个统一的可 grounded 对话生成框架中。
• 开发一种可扩展的自动化流水线，用于创建大规模、高质量、密集标注的可 grounded 多模态理解数据集。
• 建立一个全面的评估协议，用于可 grounded 对话生成，这是多模态人工智能中的一个新任务。
• 通过在单一端到端模型中同时支持文本和视觉提示，实现灵活的多模态交互。

提出的方法

• GLaMM 采用统一的多模态推理架构，端到端训练以生成与分割掩码交错的自然语言响应。
• 该模型接受文本提示和可选的视觉提示（例如边界框），以支持多粒度交互。
• 通过自动化标注流水线，利用 Segment Anything Model (SAM) 的分割结果和大语言模型（LLMs）对 8.1 亿个区域进行标注，生成 Grounding-anything Dataset (GranD)，涵盖 750 万个独特概念。
• 该流水线采用分层、多级方案以提升标注质量，包括验证步骤和通过 LLM 进行的迭代优化。
• 通过使用 GPT-4 的上下文学习，将现有手动标注的数据集（如 Visual Genome、NoCap）重新格式化为可 grounded 对话格式，构建高质量的微调数据集 GranD f。
• GLaMM 在 GranD 上进行预训练，并在 GranD f 上进行微调，以实现可 grounded 对话生成，评估任务包括指代表达分割和图像字幕生成。

Figure 1 : Grounded Conversation Generation with GLaMM . Our multimodal conversational model can provide natural language responses grounded at the pixel-level in the input image. Different levels of granularity are depicted in the output groundings, e.g., things ( building , tree ), stuff ( grass ,

实验结果

研究问题

• RQ1 单一多模态模型能否生成与像素级分割掩码集成的可 grounded 对话响应，而非依赖整体图像理解？
• RQ2 如何通过可扩展的自动化流水线，生成大规模、高质量、密集标注的可 grounded 多模态任务数据集？
• RQ3 统一模型在多个可 grounded 视觉-语言任务（包括指代表达分割和图像字幕生成）上的性能如何？
• RQ4 视觉提示（如边界框）的引入如何提升模型生成上下文准确、细粒度响应的能力？
• RQ5 在像 GranD 这样大规模、多样化数据集上预训练的模型，能否在多个可 grounded 视觉-语言任务中有效泛化至零样本和少样本设置？

主要发现

• 在微调后，GLaMM 在 refCOCOg 测试集上的指代表达分割任务中达到最先进性能，METEOR 得分为 16.2，CIDEr 得分为 106.0，优于先前模型如 GRiT 和 GPT4RoI。
• 在区域级字幕生成任务中，GLaMM 在 NoCap 数据集上取得 18.8 的 SPICE 和 95.3 的 CIDEr，展现出强大的零样本和微调性能。
• 在零样本图像字幕生成任务中，GLaMM 在 Flickr30k 数据集上取得 106.8 的 CIDEr 和 15.8 的 SPICE，优于 BLIP-2 和 InstructBLIP 等近期模型。
• 该模型在任务间表现出稳健的泛化能力，包括指代表达分割、图像字幕生成和可 grounded 对话，定性结果表明其能准确识别对象、部件、属性和关系。
• GranD 数据集包含 8.1 亿个带分割掩码的区域和 750 万个独特概念，是目前已知最大规模的密集、多粒度、可 grounded 视觉-语言数据集。
• 从现有数据集通过 GPT-4 提取并整理得到的 GranD f 数据集，为可 grounded 对话生成提供了高质量的微调数据，显著提升了模型在该新颖任务上的性能。

Figure 2 : GLaMM’s architecture. The figure illustrates our model architecture, showcasing its ability to offer scene-level understanding, region-level interpretation, and pixel-level grounding. Top: The core components of GLaMM, including the global image encoder, region encoder, LLM, grounding ima