[论文解读] A Frustratingly Simple Approach for End-to-End Image Captioning

Ziyang Luo, Yadong Xi+2 more|arXiv (Cornell University)|Jan 30, 2022

Multimodal Machine Learning Applications被引用 12

一句话总结

本文提出 VC-GPT，一种简单而高效的端到端图像字幕生成框架，通过自集成跨模态融合机制将预训练的 CLIP-ViT 视觉编码器与 GPT2 语言解码器连接，无需依赖目标检测器。该方法在 MSCOCO、Flickr30k 和 NoCaps 基准测试中实现了最先进或第二好的性能，通过在生成过程中联合利用单模态和跨模态知识实现。

ABSTRACT

Image Captioning is a fundamental task to join vision and language, concerning about cross-modal understanding and text generation. Recent years witness the emerging attention on image captioning. Most of existing works follow a traditional two-stage training paradigm. Before training the captioning models, an extra object detector is utilized to recognize the objects in the image at first. However, they require sizeable datasets with fine-grained object annotation for training the object detector, which is a daunting task. In addition, the errors of the object detectors are easy to propagate to the following captioning models, degenerating models' performance. To alleviate such defects, we propose a frustratingly simple but highly effective end-to-end image captioning framework, Visual Conditioned GPT (VC-GPT), by connecting the pre-trained visual encoder (CLIP-ViT) and language decoder (GPT2). Different from the vanilla connection method that directly inserts the cross-attention modules into GPT2, we come up with a self-ensemble cross-modal fusion mechanism that comprehensively considers both the single- and cross-modal knowledge. As a result, we do not need extra object detectors for model training. Experimental results conducted on three popular image captioning benchmarks (MSCOCO, Flickr30k and NoCaps) demonstrate that our VC-GPT achieves either the best or the second-best performance across all evaluation metrics over extensive baseline systems.

研究动机与目标

• 通过实现端到端训练，消除图像字幕生成对目标检测器的依赖。
• 在不微调目标检测器的情况下，提升视觉与语言之间的跨模态对齐能力。
• 开发一种轻量级但高效的融合机制，在保留预训练知识的同时支持跨模态注意力。
• 仅使用预训练的视觉和语言模型，在标准基准测试上实现最先进性能。

提出的方法

• 通过自集成跨模态融合模块连接 CLIP-ViT（视觉编码器）和 GPT2（语言解码器），以支持端到端训练。
• 引入一种自集成机制，将单模态 GPT2 专家和跨模态融合专家的预测结果进行结合，以平衡单模态与多模态知识。
• 在视觉 patch 与语言 token 之间使用交叉注意力模块，并对注意力头的特征图进行平均以增强可解释性。
• 采用两阶段训练策略：先进行跨模态预训练，再在图像字幕数据集上进行微调。
• 在微调过程中提升图像分辨率时，应用位置嵌入插值以保持对齐。
• 探索在跨模态预训练期间冻结 CLIP-ViT 和 GPT2 的策略，以保护预训练知识。

实验结果

研究问题

• RQ1 能否通过预训练视觉编码器与语言解码器之间的简单融合机制，在无需目标检测器的情况下实现最先进图像字幕性能？
• RQ2 与直接插入标准交叉注意力相比，单模态与跨模态专家的自集成融合机制如何提升字幕质量？
• RQ3 在跨模态预训练期间，冻结预训练组件（CLIP-ViT 和 GPT2）的最优训练策略是什么？
• RQ4 微调阶段的学习率和图像分辨率如何影响最终的字幕生成性能？

主要发现

• VC-GPT 在 MSCOCO、Flickr30k 和 NoCaps 的所有指标上均达到最佳或第二好的性能，优于大量基线系统。
• 在预训练阶段冻结 CLIP-ViT 可提升下游性能，在 MSCOCO（验证集）上达到 90.8 CIDEr、24.3 B@4、28.7 M 和 23.6 S。
• 对 GPT2 和融合模块使用相同学习率（3e-5）时性能最佳：在 MSCOCO（验证集）上达到 126.7 CIDEr、37.6 B@4、30.0 M 和 23.6 S。
• 在微调过程中提升图像分辨率可提高性能，但分辨率过大可能导致性能下降，归因于领域偏移。
• 注意力图显示，VC-GPT 学会了视觉定位，能正确关注到 'boy' 和 'cat' 等物体，并捕捉 'ball' 与 'bat' 之间的关系。
• 自集成机制有效平衡了单模态与跨模态知识，生成更准确且更具多样性的字幕。