[论文解读] Injecting Semantic Concepts into End-to-End Image Captioning

Zhiyuan Fang, Jianfeng Wang+6 more|arXiv (Cornell University)|Dec 9, 2021

Multimodal Machine Learning Applications被引用 8

一句话总结

该论文提出ViTCAP，一种无需目标检测器的基于视觉Transformer的图像字幕模型，通过一种新颖的语义概念标记网络（CTN）注入语义概念，以提升字幕质量。通过从图像特征中预测概念标记并将其整合到字幕解码器中，ViTCAP在COCO、nocaps和Google-CC数据集上实现了最先进性能，且无需依赖目标检测器。

ABSTRACT

Tremendous progress has been made in recent years in developing better image captioning models, yet most of them rely on a separate object detector to extract regional features. Recent vision-language studies are shifting towards the detector-free trend by leveraging grid representations for more flexible model training and faster inference speed. However, such development is primarily focused on image understanding tasks, and remains less investigated for the caption generation task. In this paper, we are concerned with a better-performing detector-free image captioning model, and propose a pure vision transformer-based image captioning model, dubbed as ViTCAP, in which grid representations are used without extracting the regional features. For improved performance, we introduce a novel Concept Token Network (CTN) to predict the semantic concepts and then incorporate them into the end-to-end captioning. In particular, the CTN is built on the basis of a vision transformer and is designed to predict the concept tokens through a classification task, from which the rich semantic information contained greatly benefits the captioning task. Compared with the previous detector-based models, ViTCAP drastically simplifies the architectures and at the same time achieves competitive performance on various challenging image captioning datasets. In particular, ViTCAP reaches 138.1 CIDEr scores on COCO-caption Karpathy-split, 93.8 and 108.6 CIDEr scores on nocaps, and Google-CC captioning datasets, respectively.

研究动机与目标

• 开发一种无需目标检测器的图像字幕模型，以消除目标检测器带来的计算与架构开销。
• 通过在多模态融合过程中注入丰富的语义概念，提升字幕生成性能。
• 探究从图像字幕中提取的概念标记与从目标检测器标签中提取的监督信号相比，其有效性差异。
• 证明仅使用视觉Transformer主干网络并附加轻量级CTN分支，可超越现有的基于检测器与无需检测器的模型。

提出的方法

• 使用视觉Transformer（ViT）作为视觉编码器，从输入图像生成网格特征，从而替代目标检测器的作用。
• 引入一种概念标记网络（CTN），作为ViT顶部的轻量级头部，通过分类任务预测语义概念标记。
• CTN通过从文本中提取伪真实标签信号，利用图像字幕预测概念标记。
• 将Top-K预测的概念标记与网格特征在多模态Transformer解码器中融合，实现端到端的字幕生成。
• 在大规模预训练中采用双塔训练范式，其中CTN首先为所有图像预测概念，随后作为现成标签使用。
• 在微调阶段，通过知识蒸馏从预训练的视觉-语言模型（教师模型）中迁移知识，以增强学生模型的性能。

Figure 1 : Comparisons of different image captioning models . Top: A general image captioning pipeline. Bottom: (a). Prevailing conventional models [ 39 , 79 , 25 ] which are based on an object detector to extract regional features. Object tags [ 38 , 79 ] can be optionally used to assist the text g

实验结果

研究问题

• RQ1 基于视觉Transformer的无需检测器图像字幕模型是否能在不依赖目标检测器的情况下实现具有竞争力的性能？
• RQ2 与使用目标检测器标签相比，从图像字幕中提取的概念标记是否能更有效地提升字幕质量？
• RQ3 概念标记网络（CTN）在捕捉和利用丰富语义信息用于字幕生成方面有多高效？
• RQ4 仅使用视觉Transformer主干网络并附加轻量级CTN分支的架构，是否能在标准基准测试中超越现有的基于检测器与无需检测器的模型？

主要发现

• 在COCO字幕Karpathy划分数据集上，ViTCAP的CIDEr得分达到138.1，超越了大多数现有基于检测器的模型，并为无需检测器模型设定了新的SOTA记录。
• 在nocaps数据集上，ViTCAP的CIDEr得分为95.4，表明其在开放词汇与多样化图像描述任务中具备强大的泛化能力。
• 在Google-CC数据集上，ViTCAP的CIDEr得分为108.6，表明其在大规模、开放域图像字幕任务中表现优异。
• 消融实验确认，从图像字幕中提取的概念标记作为CTN的监督信号，优于使用目标检测器标签。
• ViTCAP即使在无大规模预训练的情况下也表现出色，SMURF得分为0.55，与人类判断具有良好的相关性。
• 可视化结果表明，不同Transformer块的注意力图关注图像的不同区域，而平均后的注意力图则覆盖了整体图像内容，暗示其在弱监督定位任务中的潜力。

Figure 2 : Architecture of our proposed ViTCAP image captioning model . ViTCAP is a detector-free image captioning model based on the vision transformer, where image patches are encoded into continuous embeddings as grid representations. The CTN branch roots from an intermediate block of the image e