[论文解读] Contextual Object Detection with Multimodal Large Language Models

Yuhang Zang, Wei Li+3 more|arXiv (Cornell University)|May 29, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出 ContextDET，一种新颖的端到端多模态模型，通过结合视觉编码器、用于上下文解码的预训练大语言模型（LLM）以及用于边界框预测的视觉解码器，实现上下文感知的目标检测。该模型在开放词汇检测和一项新基准（CODE）上达到最先进性能，展示了多模态大语言模型（MLLM）在超越标准检测任务的细粒度、语言条件化目标定位方面的潜力。

ABSTRACT

Recent Multimodal Large Language Models (MLLMs) are remarkable in vision-language tasks, such as image captioning and question answering, but lack the essential perception ability, i.e., object detection. In this work, we address this limitation by introducing a novel research problem of contextual object detection -- understanding visible objects within different human-AI interactive contexts. Three representative scenarios are investigated, including the language cloze test, visual captioning, and question answering. Moreover, we present ContextDET, a unified multimodal model that is capable of end-to-end differentiable modeling of visual-language contexts, so as to locate, identify, and associate visual objects with language inputs for human-AI interaction. Our ContextDET involves three key submodels: (i) a visual encoder for extracting visual representations, (ii) a pre-trained LLM for multimodal context decoding, and (iii) a visual decoder for predicting bounding boxes given contextual object words. The new generate-then-detect framework enables us to detect object words within human vocabulary. Extensive experiments show the advantages of ContextDET on our proposed CODE benchmark, open-vocabulary detection, and referring image segmentation. Github: https://github.com/yuhangzang/ContextDET.

研究动机与目标

• 解决多模态大语言模型（MLLM）在具备强大视觉-语言理解能力的同时缺乏目标检测能力的局限性。
• 提出一个新研究问题——上下文感知目标检测，即模型基于丰富的人类语言上下文检测并定位目标。
• 开发一个统一框架，实现视觉-语言上下文的端到端、可微分建模，以实现精确的目标定位与识别。
• 克服封闭集检测器和“先定位后分类”范式的限制，实现对开放词汇、上下文特定目标术语（如“新郎”、“曲棍球守门员”）的检测。

提出的方法

• 提出一种先生成后检测的框架：首先使用条件输入视觉和任务特定标记的预训练 LLM 生成自然语言描述。
• 将 LLM 生成的标记用作条件先验，引导视觉解码器通过交叉注意力机制预测目标边界框。
• 采用视觉编码器（如 ResNet）提取局部和全局视觉特征，其中局部标记作为视觉前缀输入提供给 LLM。
• 设计一个带有交叉注意力层的视觉解码器，从 LLM 标记计算条件化的目标查询，并关注完整视觉标记以预测匹配分数和边界框。
• 使用统一目标函数端到端训练模型，对齐语言生成的目标词与其对应的视觉位置。
• 通过向 MLLM 提示“[CLASS] 是否出现在这张图片中？”并使用响应作为检测的条件输入，将模型适配至开放词汇检测。

Figure 1: We present a new contextual object detection task include (a) look at the image and complete the masked object names and locations; (b) predict the caption and the boxes of objects existing in the caption; (c) answer a question about the names and locations of objects. Unlike the tradition

实验结果

研究问题

• RQ1 多模态大语言模型能否被有效扩展以执行超越标准分类的上下文感知目标检测？
• RQ2 基于 MLLM 的模型在检测和定位开放词汇、上下文特定目标术语（如“新郎”、“牛仔”、“曲棍球守门员”）方面表现如何？
• RQ3 在具有丰富语言上下文的零样本和开放词汇设置下，先生成后检测框架是否能优于传统目标检测器？
• RQ4 使用 MLLM 生成的上下文在多大程度上提升了目标检测任务中的泛化能力和可解释性？

主要发现

• 在 OV-COCO 基准的新类别集合上，ContextDET 达到 36.8% 的 AP50，比之前最先进方法 BARON 提高 2.8 个百分点。
• 在基础类和所有类别上，ContextDET 分别达到 65.1% 和 57.7% 的 AP50，分别优于 BARON 4.7% 和 4.2%。
• 该模型显著提升了零样本泛化能力，能够检测出标准检测器无法识别的分布外目标术语，如“新郎”、“新娘”和“曲棍球守门员”。
• 定性结果表明，ContextDET 能够成功定位生成字幕或问题中提及的对象，而标准 MLLM 仅能生成文本。
• 消融实验确认，使用 9 个视觉标记作为前缀（p=9）时性能最优，验证了视觉前缀机制设计的有效性。
• 该模型通过生成上下文感知的目标名称及其精确边界框，展现出强大的可解释性，支持更丰富的人机交互。

Figure 2: Our ContextDET is a unified end-to-end framework, being capable of taking different language token inputs for different tasks, including (a) cloze test (b) captioning and (c) question answering. : frozen. The symbol ${\bm{e}}$ indicates latent embeddings of LLM (Section 3.2 ), and the symb