[论文解读] Crossing the Format Boundary of Text and Boxes: Towards Unified Vision-Language Modeling

Zhengyuan Yang, Zhe Gan+6 more|arXiv (Cornell University)|Nov 23, 2021

Multimodal Machine Learning Applications参考文献 64被引用 12

一句话总结

UNICORN 提出了一种统一的视觉-语言模型，通过将边界框量化为离散标记并将其与文本标记整合，将文本生成和边界框预测统一为单一的序列到序列任务。该模型使用单一架构在七个视觉-语言基准上实现了最先进或具有竞争力的性能，支持多任务学习，并可泛化到新任务（如 ImageNet 目标定位）。

ABSTRACT

In this paper, we propose UNICORN, a vision-language (VL) model that unifies text generation and bounding box prediction into a single architecture. Specifically, we quantize each box into four discrete box tokens and serialize them as a sequence, which can be integrated with text tokens. We formulate all VL problems as a generation task, where the target sequence consists of the integrated text and box tokens. We then train a transformer encoder-decoder to predict the target in an auto-regressive manner. With such a unified framework and input-output format, UNICORN achieves comparable performance to task-specific state of the art on 7 VL benchmarks, covering the visual grounding, grounded captioning, visual question answering, and image captioning tasks. When trained with multi-task finetuning, UNICORN can approach different VL tasks with a single set of parameters, thus crossing downstream task boundary. We show that having a single model not only saves parameters, but also further boosts the model performance on certain tasks. Finally, UNICORN shows the capability of generalizing to new tasks such as ImageNet object localization.

研究动机与目标

• 将文本生成与目标检测统一为单一的视觉-语言建模范式。
• 通过训练一个模型来支持多种视觉-语言任务，消除对任务特定架构的需求。
• 通过在多样化视觉-语言任务间共享参数，提升模型效率与性能。
• 在无需架构修改的情况下，实现对新任务（如 ImageNet 目标定位）的泛化能力。

提出的方法

• 将每个边界框量化为表示其坐标的四个离散标记，使其能够与文本标记在序列中整合。
• 将离散的框标记序列化，并与文本标记结合，形成统一的输入表示。
• 将所有视觉-语言任务建模为在组合的文本与框标记序列上的自回归序列生成任务。
• 端到端训练一个 Transformer 编码器-解码器模型，以预测包含文本与框标记的完整目标序列。
• 通过多任务微调，利用共享参数将统一模型适配到多样化的下游任务。
• 通过模型的统一表示与生成能力，实现对新任务的零样本泛化。

实验结果

研究问题

• RQ1 视觉-语言任务（如视觉定位、图像字幕、VQA）能否在单一的序列到序列生成框架下实现统一？
• RQ2 在多个视觉-语言任务间共享参数，如何影响模型性能与效率？
• RQ3 一个统一的单一模型能否泛化到新且未见过的视觉-语言任务（如 ImageNet 目标定位）？
• RQ4 将离散框标记整合到序列中，是否能改善视觉与语言的联合建模？
• RQ5 在多样化基准上，统一建模与任务特定架构之间的性能权衡如何？

主要发现

• UNICORN 在七个视觉-语言基准上实现了最先进或具有竞争力的性能，包括视觉定位、定位字幕、VQA 和图像字幕。
• 经过多任务微调的统一模型在所有评估基准上达到或超过任务特定的最先进模型性能。
• 任务间的参数共享带来了某些任务性能的提升，表明联合学习带来了归纳偏置优势。
• 该模型在无需架构修改的情况下，能有效泛化到新任务（如 ImageNet 目标定位）。
• 边界框的离散标记化使得其能与自回归语言建模无缝集成，形成可扩展的统一表示。