[论文解读] Write and Paint: Generative Vision-Language Models are Unified Modal Learners

Shizhe Diao, Wangchunshu Zhou+2 more|arXiv (Cornell University)|Jun 15, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出 DaVinci，一种统一的视觉-语言基础模型，通过一种新颖的前缀多模态建模范式，同时学习从图像生成文本（写作）和从文本生成图像（绘画）。通过在大规模图像-字幕对上对两种模态应用前缀语言建模，DaVinci 在 27 项多样化的视觉、语言和多模态任务中实现了最先进性能，证明了对称生成预训练在统一多模态学习中的优越性。

ABSTRACT

Recent advances in vision-language pre-training have pushed the state-of-the-art on various vision-language tasks, making machines more capable of multi-modal writing (image-to-text generation) and painting (text-to-image generation). However, few studies investigate if these two essential capabilities can be learned together and boost each other, making a versatile and powerful multi-modal foundation model. In this work, we disclose the potential of symmetric generative vision-language pre-training in learning to write and paint concurrently, and propose a new unified modal model, named DaVinci, trained with prefix language modeling and prefix image modeling, a simple generative self-supervised objective on image-text pairs. Thanks to the proposed prefix multi-modal modeling framework, DaVinci is simple to train, scalable to huge data, adaptable to both writing and painting tasks, and also strong on other vision, text, and multi-modal understanding tasks. DaVinci achieves competitive performance on a wide range of 27 generation/understanding tasks and demonstrates the superiority of combining vision/language generative pre-training. Furthermore, we carefully benchmark the performance of different vision-language pre-training objectives on different scales of pre-training datasets on a heterogeneous and broad distribution coverage. Our results demonstrate the potential of exploiting self-supervision in both language and vision inputs, and establish new, stronger baselines for future comparisons at different data scales. The code and pre-trained models are available at https://github.com/shizhediao/DaVinci.

研究动机与目标

• 探究视觉和语言生成能力是否可以联合学习，以构建更通用且强大的多模态基础模型。
• 开发一种简单、可扩展且统一的预训练框架，实现图像到文本和文本到图像生成的对称学习。
• 评估不同视觉-语言预训练目标在不同数据规模和任务分布下的有效性。
• 为未来多模态基础模型研究建立更强、更具泛化能力的基线。

提出的方法

• 提出前缀多模态建模，将前缀语言建模扩展至视觉领域，通过将图像转换为离散标记序列实现。
• 训练单一模型，使其在给定同一模态的前缀和另一模态的完整输入条件下，生成该模态的后缀（文本或图像）。
• 在大规模图像-字幕对上使用简单、自监督的生成目标，无需生成任务的人工标注标签。
• 采用标准的 Transformer 架构并共享模态间的参数，实现写作和绘画的端到端训练。
• 通过类似 VQ-VAE 的方法使用离散图像标记，使图像以与文本相同的格式进行序列建模。
• 使用此统一目标在大规模图像-字幕对数据集上预训练 DaVinci，使其在多样化任务中实现零样本和微调性能。

实验结果

研究问题

• RQ1 对视觉和语言进行对称生成预训练是否能提升生成和理解任务的性能？
• RQ2 通过单一目标同时实现图像到文本和文本到图像生成的统一多模态模型是否优于专用模型？
• RQ3 不同预训练目标在不同数据规模和任务分布下的扩展性能如何？
• RQ4 单一基础模型是否能在视觉、语言和多模态任务中均实现强大的零样本和微调性能？

主要发现

• DaVinci 在 27 项多样化的视觉、语言和多模态任务中实现最先进性能，包括图像到文本生成、文本到图像生成和视觉-语言理解。
• 在 CLEVR-Ref+ 和 GQA 基准测试中，DaVinci 分别实现 83.92 和 78.81 的零样本准确率，优于 FLAVA 和 SimVLM。
• 在文本到图像生成任务中，DaVinci 实现 17.44 的 FID 分数（微调后为 22.41），优于 DALL-E 和 OFA 在同一基准上的表现。
• 模型展现出强大的零样本泛化能力，在 COCO 图像字幕任务中未经过 CIDEr 优化即达到 83.13 的 CIDEr 分数。
• 大量消融实验证明，所提出的前缀多模态建模目标在不同数据规模下均具有高度有效性与可扩展性。
• DaVinci 在所有评估任务中持续优于 FLAVA、SimVLM 和 OFA，为统一视觉-语言模型建立了新的最先进基线。