[论文解读] From Show to Tell: A Survey on Image Captioning

Matteo Stefanini, Marcella Cornia+4 more|arXiv (Cornell University)|Jul 14, 2021

Multimodal Machine Learning Applications参考文献 131被引用 32

一句话总结

本综述对2015年至今的图像字幕生成方法进行了全面分析，涵盖视觉编码器、语言模型、训练策略、数据集和评估指标。通过定量比较，识别出关键的架构与训练创新，并概述了视觉语言生成领域的开放性挑战与未来方向。

ABSTRACT

Connecting Vision and Language plays an essential role in Generative Intelligence. For this reason, large research efforts have been devoted to image captioning, i.e. describing images with syntactically and semantically meaningful sentences. Starting from 2015 the task has generally been addressed with pipelines composed of a visual encoder and a language model for text generation. During these years, both components have evolved considerably through the exploitation of object regions, attributes, the introduction of multi-modal connections, fully-attentive approaches, and BERT-like early-fusion strategies. However, regardless of the impressive results, research in image captioning has not reached a conclusive answer yet. This work aims at providing a comprehensive overview of image captioning approaches, from visual encoding and text generation to training strategies, datasets, and evaluation metrics. In this respect, we quantitatively compare many relevant state-of-the-art approaches to identify the most impactful technical innovations in architectures and training strategies. Moreover, many variants of the problem and its open challenges are discussed. The final goal of this work is to serve as a tool for understanding the existing literature and highlighting the future directions for a research area where Computer Vision and Natural Language Processing can find an optimal synergy.

研究动机与目标

• 提供图像字幕生成方法的系统性与最新概述，包括视觉编码与文本生成组件。
• 分析2015年至今图像字幕架构与训练策略的演变。
• 通过定量比较最先进方法，识别最具影响力的的技术创新。
• 讨论图像字幕中的问题变体与开放挑战，以指导未来研究。
• 为希望了解视觉语言生成当前状态与未来潜力的研究人员提供基础参考。

提出的方法

• 本文对图像字幕生成方法进行了结构化综述，重点聚焦于视觉编码器（如CNN、视觉Transformer）与语言解码器（如RNN、Transformer）。
• 研究了多模态注意力、全注意力机制以及类似BERT的早期融合策略等架构创新。
• 评估了端到端学习、课程学习以及对比预训练技术等训练策略。
• 分析了COCO、Visual Genome和MS-COCO等基准数据集，并对比了BLEU、ROUGE和CIDEr等标准评估指标。
• 通过标准基准上的定量性能指标，系统比较了最先进模型。
• 通过模型架构与训练范式的对比分析，识别出关键趋势与技术转变。

实验结果

研究问题

• RQ1 2015年至今，图像字幕模型中最具影响力的架构创新是什么？
• RQ2 训练策略如何演变？哪些策略带来了最显著的性能提升？
• RQ3 尽管性能强劲，当前图像字幕系统仍存在哪些关键局限与开放挑战？
• RQ4 不同的视觉编码器与语言解码器在多模态建模框架中如何相互作用？
• RQ5 评估图像字幕性能时，最有效的评估指标是什么？它们与人类判断的相关性如何？

主要发现

• 多模态注意力机制与全注意力网络的整合显著提升了视觉与文本表征之间的对齐。
• 类似BERT的早期融合策略通过在特征编码阶段实现更深层次的跨模态交互，提升了性能。
• 采用对比预训练与课程学习的训练策略在标准基准上显著提升了字幕质量。
• 尽管已有进展，尚未出现一种在所有场景下均占优的架构或训练方法，表明研究挑战依然存在。
• CIDEr与BLEU等评估指标与人类判断存在中等程度相关性，凸显了对更稳健且与人类对齐的评估指标的迫切需求。
• 综述指出，在最优模型设计方面尚未形成共识，强调了建立标准化基准与评估协议的必要性。