[论文解读] ClipCap: CLIP Prefix for Image Captioning

Ron Mokady, Amir Hertz+1 more|arXiv (Cornell University)|Nov 18, 2021

Multimodal Machine Learning Applications参考文献 45被引用 12

一句话总结

ClipCap 提出了一种轻量级的图像字幕生成方法，该方法使用 CLIP 嵌入作为冻结的视觉前缀，并通过一个小型神经网络将其映射到一个冻结的 GPT-2 语言模型上以进行条件生成。通过仅训练映射头，该方法在 Conceptual Captions 和 nocaps 数据集上实现了最先进（SOTA）的性能，且训练时间和参数量显著减少，表明预训练的视觉-语言模型可在不微调主干模型的前提下，实现高效且高质量的字幕生成。

ABSTRACT

Image captioning is a fundamental task in vision-language understanding, where the model predicts a textual informative caption to a given input image. In this paper, we present a simple approach to address this task. We use CLIP encoding as a prefix to the caption, by employing a simple mapping network, and then fine-tunes a language model to generate the image captions. The recently proposed CLIP model contains rich semantic features which were trained with textual context, making it best for vision-language perception. Our key idea is that together with a pre-trained language model (GPT2), we obtain a wide understanding of both visual and textual data. Hence, our approach only requires rather quick training to produce a competent captioning model. Without additional annotations or pre-training, it efficiently generates meaningful captions for large-scale and diverse datasets. Surprisingly, our method works well even when only the mapping network is trained, while both CLIP and the language model remain frozen, allowing a lighter architecture with less trainable parameters. Through quantitative evaluation, we demonstrate our model achieves comparable results to state-of-the-art methods on the challenging Conceptual Captions and nocaps datasets, while it is simpler, faster, and lighter. Our code is available in https://github.com/rmokady/CLIP_prefix_caption.

研究动机与目标

• 开发一种轻量级、训练速度快的图像字幕生成模型，避免对视觉和语言编码器进行大量微调。
• 利用 CLIP 的丰富视觉-文本表征，减少字幕生成任务对数据和训练的需求。
• 探究当 CLIP 和 GPT-2 均被冻结时，仅一个极小的可训练组件（即映射网络）是否能有效连接视觉与文本模态。
• 评估基于前缀提示在视觉-语言生成任务中的有效性，特别是在低资源和快速适应场景下。

提出的方法

• 训练一个基于轻量级 Transformer 或 MLP 的映射网络，将 CLIP 图像嵌入转换为与 GPT-2 兼容的固定长度前缀序列。
• 将前缀与序列起始标记拼接后输入到一个冻结的 GPT-2 语言模型中，以自回归方式生成字幕。
• 仅训练映射网络（以及可选的 GPT-2 输出头），而 CLIP 和 GPT-2 的主干参数保持冻结，实现端到端训练。
• 提出一种前缀解释方法，利用余弦相似度寻找与学习到的前缀最接近的 GPT-2 词汇表标记，以理解其语义内容。
• 通过消融实验评估前缀长度、映射网络架构和微调策略的影响。
• 该方法在 Conceptual Captions 和 nocaps 等大规模数据集上进行评估，无需额外标注或预训练。

实验结果

研究问题

• RQ1 在不微调 CLIP 和 GPT-2 的前提下，仅通过 CLIP 与 GPT-2 之间的简单映射网络，能否生成高质量的图像字幕？
• RQ2 当仅训练映射网络与同时微调 GPT-2 时，模型性能有何差异？
• RQ3 在该设置下，前缀长度的最优值是多少，以在表达能力与模型效率之间取得平衡？
• RQ4 在主干模型冻结的条件下，不同映射网络架构（MLP 与 Transformer）对字幕生成性能有何影响？
• RQ5 所学习的前缀在多大程度上可进行语义解释？其解释结果是否与图像内容相关？

主要发现

• ClipCap 在 Conceptual Captions 和 nocaps 数据集上实现了具有竞争力的性能，尽管训练量极少且主干模型保持冻结，其表现仍与最先进方法相当或更优。
• 当仅训练映射网络（且 CLIP 和 GPT-2 均冻结）时，模型仍能生成有意义的字幕，证明了基于前缀的适应策略的有效性。
• 当语言模型冻结时，基于 Transformer 的映射网络优于 MLP；而当 GPT-2 被微调时，MLP 表现更优，表明存在架构上的权衡。
• 前缀长度的消融实验表明，当 GPT-2 冻结时，较长的前缀能提升性能；但当启用微调时，由于参数量增加，反而导致过拟合。
• 对前缀嵌入的解释显示，当映射网络和语言模型均被训练时，其包含语义上有意义的标记（如 'motorcycle', 'showcase'），表明实现了有效的语义对齐。
• 该模型在复杂场景（如 'a woman practicing yoga on the beach at sunset'）上泛化能力良好，展示了强大的视觉理解能力。