[论文解读] GLIPv2: Unifying Localization and Vision-Language Understanding

Haotian Zhang, Pengchuan Zhang+8 more|arXiv (Cornell University)|Jun 12, 2022

Multimodal Machine Learning Applications被引用 126

一句话总结

GLIPv2 是一个在地感知视觉语言模型，预训练的 grounded vision-language model，它将定位（检测/分割）与 VL 理解（grounded VQA、grounding 与 captioning）整合到面向语言引导的视觉任务。它表明定位与 VL 理解在不同数据集之间相互促进。

ABSTRACT

We present GLIPv2, a grounded VL understanding model, that serves both localization tasks (e.g., object detection, instance segmentation) and Vision-Language (VL) understanding tasks (e.g., VQA, image captioning). GLIPv2 elegantly unifies localization pre-training and Vision-Language Pre-training (VLP) with three pre-training tasks: phrase grounding as a VL reformulation of the detection task, region-word contrastive learning as a novel region-word level contrastive learning task, and the masked language modeling. This unification not only simplifies the previous multi-stage VLP procedure but also achieves mutual benefits between localization and understanding tasks. Experimental results show that a single GLIPv2 model (all model weights are shared) achieves near SoTA performance on various localization and understanding tasks. The model also shows (1) strong zero-shot and few-shot adaption performance on open-vocabulary object detection tasks and (2) superior grounding capability on VL understanding tasks. Code will be released at https://github.com/microsoft/GLIP.

研究动机与目标

• 推动一个模型同时完成定位和视觉-语言理解任务。
• 实现语言引导的检测、分割、定位/对齐、VQA 和 captioning。
• 研究用于联合定位和 VL 理解的预训练损失和数据规模。
• 在多个数据集上提供详细的训练、消融和推理速度分析。

提出的方法

• 在检测、定位/grounding、和 caption 数据上对 GLIPv2 的变体进行预训练，使用三项损失成分：同一图像内的区域-单词对比损失、跨图像的单词-区域对比损失，以及 MLM。
• 采用统一架构，带有基于 Hourglass 的分割头和一个 VL 融合模块，将视觉与语言特征连接起来。
• 将下游任务微调，如 COCO/ODinW/LVIS 的检测与定位/对齐，PhraseCut 的指称分割，VQA2.0 的 VQA，以及 COCO captioning。
• 在训练和推理阶段通过将预测的短语与图像区域进行对齐来评估 Grounded VQA 与 Grounded image captioning。

实验结果

研究问题

• RQ1 单个预训练模型能否在定位和视觉语言理解任务上同时表现出色？
• RQ2 额外的预训练损失（跨图像的单词-区域对比、MLM）和数据规模是否同时提升定位和 VL 理解的性能？
• RQ3 在微调或零-shot 评估时，GLIPv2 在不同数据集和任务中的表现如何？
• RQ4 不同预训练数据类型（检测、定位/对齐、caption）对下游 VL 任务的相对贡献是多少？

主要发现

• GLIPv2 的变体在 COCO、ODinW、LVIS 上的检测和定位/对齐任务中提升了零-shot 和微调后的性能。
• 加入跨图像单词-区域对比损失显著提升定位和定位/对齐性能。
• MLM 损失有益于语言理解任务，如 Flickr30K、VQA 和 captioning。
• 使用 Cap4M 与 CC/SBU 规模化预训练数据进一步提升了同域和域间迁移任务。
• Grounded image captioning 的结果在 Flick30K 上显示出具有竞争力的字幕质量并实现了 grounding 对齐。
• 推理速度比较表明，GLIPv2 的变体在 COCO 和相关任务上实现了与 MDETR 相当的吞吐量。