[论文解读] Image Captioning In the Transformer Age

Yang Xu, Li Li+4 more|arXiv (Cornell University)|Apr 15, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

本综述探讨了Transformer时代图像字幕生成的发展历程，认为尽管大规模视觉-语言模型兴起，图像字幕生成在推动多模态人工智能发展方面依然至关重要。文章主张采用统一的Transformer架构以实现端到端训练，同时展示了字幕研究如何通过更丰富、语义基础更扎实的标注，推动自监督学习、基于提示的模型以及纯视觉任务的发展。

ABSTRACT

Image Captioning (IC) has achieved astonishing developments by incorporating various techniques into the CNN-RNN encoder-decoder architecture. However, since CNN and RNN do not share the basic network component, such a heterogeneous pipeline is hard to be trained end-to-end where the visual encoder will not learn anything from the caption supervision. This drawback inspires the researchers to develop a homogeneous architecture that facilitates end-to-end training, for which Transformer is the perfect one that has proven its huge potential in both vision and language domains and thus can be used as the basic component of the visual encoder and language decoder in an IC pipeline. Meantime, self-supervised learning releases the power of the Transformer architecture that a pre-trained large-scale one can be generalized to various tasks including IC. The success of these large-scale models seems to weaken the importance of the single IC task. However, we demonstrate that IC still has its specific significance in this age by analyzing the connections between IC with some popular self-supervised learning paradigms. Due to the page limitation, we only refer to highly important papers in this short survey and more related works can be found at https://github.com/SjokerLily/awesome-image-captioning.

研究动机与目标

• 分析传统CNN-RNN异构架构在图像字幕生成中的局限性，特别是由于视觉与语言组件之间结构不兼容，导致难以实现端到端训练。
• 论证尽管大规模预训练视觉-语言模型具备强大的泛化能力，图像字幕生成任务在当前时代仍具有独特的重要性。
• 探讨图像字幕研究中的技术——如注意力机制、结构归纳偏置和训练目标——如何为新兴的基于提示和自监督的视觉-语言模型提供启示并加以改进。
• 证明图像字幕数据中蕴含丰富的语义和关系信息，即使在训练效率面临挑战的情况下，仍可有效用于解决纯视觉任务（如分类和检测）。
• 倡导在图像字幕生成中采用基于Transformer的统一架构，以克服异构编码器-解码器流程中固有的端到端训练障碍。

提出的方法

• 提出一种基于统一Transformer架构的解决方案，其中视觉编码器和语言解码器均采用Transformer架构实现，从而实现统一优化与端到端训练。
• 回顾并扩展异构时代提出的三种关键技术策略：更强的视觉编码器、先进的注意力机制以及结构归纳偏置，现均已适配至Transformer框架。
• 分析图像字幕与大规模自监督预训练范式（如CLIP）之间的联系，强调其共享目标与互补优势。
• 强调图像字幕数据集中图像-文本对可作为丰富语义标注数据的来源，用于零样本迁移至下游视觉任务，尽管面临数据效率挑战。
• 讨论架构创新，如模块化网络，以解耦图像-文本数据中的概念，提升数据利用率并减轻训练负担。
• 提出可将基于强化学习的训练目标及字幕研究中的评估指标（如CIDEr）应用于基于提示的视觉-语言模型的训练与评估。

实验结果

研究问题

• RQ1 为何传统CNN-RNN架构在图像字幕生成中本质上不适用于端到端训练？何种架构转变可提供解决方案？
• RQ2 大规模视觉-语言模型的兴起如何影响图像字幕任务的相关性与重要性？
• RQ3 图像字幕研究在哪些方面可促进基于提示和自监督视觉-语言模型的发展？
• RQ4 图像字幕数据能否有效用于解决纯视觉任务（如分类与检测）？其主要挑战是什么？
• RQ5 字幕研究中的结构归纳偏置与注意力机制在提升现代基于Transformer的多模态模型性能方面发挥何种作用？

主要发现

• 图像字幕生成中的异构CNN-RNN架构由于视觉模块与语言模块之间缺乏共享组件，从根本上限制了端到端训练，阻碍了梯度向视觉编码器的反向传播。
• Transformer架构通过将视觉编码器与语言解码器统一于相同的基于注意力的机制下，实现了统一解决方案，从而促进端到端优化。
• 尽管CLIP等大规模预训练模型取得成功，图像字幕生成作为基础性任务，仍至关重要，因其为多模态学习提供了丰富且语义基础扎实的监督信号。
• 图像字幕数据中对物体、属性和关系的全面标注，相较于仅含固定数值标签的传统数据集，提供了更丰富、更多样化的语义监督信号。
• 在字幕生成中采用模块化架构可通过解耦概念提升数据效率，减少达到相当性能所需的数据量。
• 为图像字幕研究开发的训练目标与评估指标（如CIDEr和强化学习策略）可直接迁移至基于提示和自监督的视觉-语言模型，以提升其性能。