[论文解读] From Show to Tell: A Survey on Deep Learning-based Image Captioning

Matteo Stefanini, Marcella Cornia+4 more|arXiv (Cornell University)|Jul 14, 2021

Multimodal Machine Learning Applications被引用 12

一句话总结

本综述全面、及时地概述了基于深度学习的图像字幕生成技术，分析了视觉编码器、语言模型、训练策略、数据集和评估指标。它对当前最先进方法进行了定量比较，并指出了泛化能力、多样性与可信度方面的关键挑战，倡导改进视觉-语言系统的评估协议并减轻偏差。

ABSTRACT

Connecting Vision and Language plays an essential role in Generative Intelligence. For this reason, large research efforts have been devoted to image captioning, i.e. describing images with syntactically and semantically meaningful sentences. Starting from 2015 the task has generally been addressed with pipelines composed of a visual encoder and a language model for text generation. During these years, both components have evolved considerably through the exploitation of object regions, attributes, the introduction of multi-modal connections, fully-attentive approaches, and BERT-like early-fusion strategies. However, regardless of the impressive results, research in image captioning has not reached a conclusive answer yet. This work aims at providing a comprehensive overview of image captioning approaches, from visual encoding and text generation to training strategies, datasets, and evaluation metrics. In this respect, we quantitatively compare many relevant state-of-the-art approaches to identify the most impactful technical innovations in architectures and training strategies. Moreover, many variants of the problem and its open challenges are discussed. The final goal of this work is to serve as a tool for understanding the existing literature and highlighting the future directions for a research area where Computer Vision and Natural Language Processing can find an optimal synergy.

研究动机与目标

• 提供一个全面、最新的基于深度学习的图像字幕生成技术综述，包括视觉编码与语言建模方法。
• 分析训练策略，特别是预训练和掩码语言建模，及其对性能的影响。
• 使用标准与非标准指标在主要基准上评估并比较当前最先进模型。
• 识别泛化、多样性与公平性方面的开放挑战，并为视觉-语言任务中可信人工智能的未来研究方向提出建议。
• 指出当前评估协议的局限性，并倡导采用更稳健、可复现且无需参考文本的评估指标。

提出的方法

• 构建视觉编码器（如CNN、Transformer、基于检测的特征）与语言模型（RNN、Transformer、BERT类模型）的分类体系，并分析其优缺点。
• 回顾训练范式，包括监督微调、强化学习，以及近期在大规模数据上使用掩码语言建模损失的预训练方法。
• 在标准基准（如COCO）和领域特定数据集上比较模型性能，评估泛化能力与鲁棒性。
• 分析标准指标（BLEU、ROUGE、CIDEr、SPICE）与非标准指标（如FID、CLIP-score），以评估流畅性、相关性与语义质量。
• 使用多种指标对50多个当前最先进模型进行定量比较，揭示性能趋势与架构影响。
• 研究架构趋势，如早期融合与晚期融合、单流与双流设计，以及多模态预训练在提升性能中的作用。

实验结果

研究问题

• RQ1 在图像字幕生成中，视觉编码与语言建模方面最具影响力的架构创新是什么？
• RQ2 不同的训练策略——尤其是预训练与掩码语言建模——在多大程度上提升了模型的泛化能力与性能？
• RQ3 标准与非标准评估指标在多大程度上与人类判断及模型可靠性相关？
• RQ4 在泛化、多样性与公平性方面，图像字幕生成面临哪些关键开放挑战，特别是在长尾概念与真实世界部署中？
• RQ5 如何改进评估协议以支持可复现性并减少模型评估中的偏差？

主要发现

• 在大规模网络爬取数据集上进行预训练能显著提升模型在长尾概念上的泛化能力与性能，但数据质量仍是主要问题。
• BERT类早期融合架构与全注意力Transformer架构已基本取代RNN与全局特征编码器，在COCO及其他基准上达到最先进性能。
• 非标准指标如CLIP-score与SPICE相较于传统指标（如BLEU）与人类判断的相关性更强，凸显了采用更有意义评估指标的必要性。
• 尽管在标准基准上表现优异，模型在真实场景中仍面临鲁棒性、多样性与忠实度方面的挑战，尤其是在遇到新颖或罕见概念时。
• 基于检测的特征主导地位正在下降，因为采用自监督或多模态预训练的模型在更少监督下即可实现相当或更优的性能。
• 对无需参考文本的评估指标与改进评估协议的需求日益增长，以支持向无监督与可信图像字幕系统的发展。