[论文解读] GIT: A Generative Image-to-text Transformer for Vision and Language

Jianfeng Wang, Zhengyuan Yang+7 more|arXiv (Cornell University)|May 27, 2022

Multimodal Machine Learning Applications被引用 209

一句话总结

GIT 是一个单一编码器图像和单一解码器文本生成模型，它在 0.8B 图像-文本对上进行预训练，以统一图像/视频字幕和 VQA，在不使用对象检测器或 OCR 的情况下实现了新的最先进结果。它还展示了基于生成的图像分类和强大的场景文本能力。

ABSTRACT

In this paper, we design and train a Generative Image-to-text Transformer, GIT, to unify vision-language tasks such as image/video captioning and question answering. While generative models provide a consistent network architecture between pre-training and fine-tuning, existing work typically contains complex structures (uni/multi-modal encoder/decoder) and depends on external modules such as object detectors/taggers and optical character recognition (OCR). In GIT, we simplify the architecture as one image encoder and one text decoder under a single language modeling task. We also scale up the pre-training data and the model size to boost the model performance. Without bells and whistles, our GIT establishes new state of the arts on 12 challenging benchmarks with a large margin. For instance, our model surpasses the human performance for the first time on TextCaps (138.2 vs. 125.5 in CIDEr). Furthermore, we present a new scheme of generation-based image classification and scene text recognition, achieving decent performance on standard benchmarks. Codes are released at \url{https://github.com/microsoft/GenerativeImage2Text}.

研究动机与目标

• 展示一个简单、统一 Generative Image-to-text Transformer (GIT) 架构，用于视觉-语言任务。
• 证明在没有检测器/OCR 的情况下，对大规模图像-文本数据进行预训练可在字幕生成、问答和视频任务上达到最先进的结果。
• 使用同一模型探索基于生成的图像分类和场景文本识别。
• 研究模型规模和数据规模对视觉-语言任务性能的影响。
• 提供在使用随机初始化且端到端训练的解码器时的训练动态见解。

提出的方法

• 使用一个在大规模图像-文本对上预训练的 Swin 类视觉编码器作为图像编码器。
• 使用以语言建模目标训练的变换器文本解码器，通过图像特征生成描述。
• 在 0.8B 图像-文本对上进行 LM 损失预训练（无 MLM），共 2 个 epoch。
• 通过将目标视为生成文本进行微调，用作字幕生成、VQA 与视频任务（VQA 的问题作为提示）。
• 通过抽样多帧、独立编码并与可学习的时间嵌入拼接来处理视频。
• 通过生成作为字幕的输出预测类别名来评估基于生成的图像分类，而不使用固定词汇表。

实验结果

研究问题

• RQ1 一个仅由一个图像编码器和一个文本解码器组成的最小架构，是否能够在不依赖检测器、标签或 OCR 的情况下，在所有 VL 任务上达到最先进的结果？
• RQ2 在预训练数据规模和模型大小方面的扩展，如何影响图像、视频和问答基准上的 VL 任务表现？
• RQ3 基于生成的学习是否能够在场景文本理解和图像分类上实现具竞争力或最先进的结果，而无需预定义词汇？
• RQ4 在仅使用一个生成模型时，能在最小的架构变动下从图像字幕生成迁移到视频字幕生成和 VQA 的程度如何？

主要发现

• GIT 在多项图像/视频字幕和问答基准上实现了新的最先进水平。
• 在 TextCaps 上，GIT 首次超过了人类水平（CIDEr: 138.2 vs 125.5）。
• GIT 以 0.7B 参数模型在不使用外部检测器或 OCR 的情况下，超越了若干基准的先前 SOTA。
• 视频任务也受益于相同的架构，在没有专用视频编码器的情况下取得了强结果。
• 使用字幕式输出的生成式 ImageNet 分类方案实现了具有竞争力的 top-1 准确率（88.79%）。
• 扩展预训练数据规模和模型大小在许多任务上带来显著提升。