[论文解读] Deep Learning Approaches on Image Captioning: A Review

Taraneh Ghandi, Hamid Reza Pourreza+1 more|arXiv (Cornell University)|Jan 31, 2022

Multimodal Machine Learning Applications被引用 13

一句话总结

本文对2018至2022年间的深度学习图像字幕生成方法进行了全面综述，将方法分类为编码器-解码器、注意力机制、场景图以及视觉-语言预训练模型。文章指出视觉-语言预训练和Transformer架构正日益占据主导地位，识别出持续存在的挑战如幻觉现象与上下文信息丢失，并呼吁开发更适用于视障用户的应用模型。

ABSTRACT

Image captioning is a research area of immense importance, aiming to generate natural language descriptions for visual content in the form of still images. The advent of deep learning and more recently vision-language pre-training techniques has revolutionized the field, leading to more sophisticated methods and improved performance. In this survey paper, we provide a structured review of deep learning methods in image captioning by presenting a comprehensive taxonomy and discussing each method category in detail. Additionally, we examine the datasets commonly employed in image captioning research, as well as the evaluation metrics used to assess the performance of different captioning models. We address the challenges faced in this field by emphasizing issues such as object hallucination, missing context, illumination conditions, contextual understanding, and referring expressions. We rank different deep learning methods' performance according to widely used evaluation metrics, giving insight into the current state of the art. Furthermore, we identify several potential future directions for research in this area, which include tackling the information misalignment problem between image and text modalities, mitigating dataset bias, incorporating vision-language pre-training methods to enhance caption generation, and developing improved evaluation tools to accurately measure the quality of image captions.

研究动机与目标

• 提供2018至2022年图像字幕生成中深度学习方法的结构化、最新综述，填补现有综述中的空白。
• 利用标准化评估指标与数据集分析近期模型的性能表现。
• 识别持续存在的挑战，如对象幻觉、上下文理解不足以及光照敏感性问题。
• 突出图像字幕在视障用户辅助方面尚未被充分挖掘的潜力，并倡导面向特定任务的模型设计。
• 探讨视觉-语言预训练、Transformer架构以及基于图的表征在提升字幕质量中的作用。

提出的方法

• 将图像字幕方法分类为编码器-解码器、注意力机制、场景图以及视觉-语言预训练（VLP）方法。
• 回顾MS COCO与Flicker30k等广泛使用数据集，并利用BLEU、ROUGE与CIDEr等标准指标评估性能。
• 分析视觉-语言预训练（VLP）技术的整合，通过掩码建模与对比学习对齐视觉与文本表征。
• 研究Transformer在图像特征与文本标记之间实现跨注意力机制的应用，支持长距离依赖建模。
• 评估无需目标检测器的架构，其仅使用单一视觉编码器生成网格特征，实现端到端的跨模态融合。
• 讨论场景图在建模实体间复杂关系中的应用，提升推理能力与组合泛化性能。

实验结果

研究问题

• RQ1 2018至2022年间，图像字幕的深度学习架构如何演变？哪些方法类别在性能上占据主导地位？
• RQ2 与早期方法相比，视觉-语言预训练与基于Transformer的模型在多大程度上提升了字幕质量？
• RQ3 哪些关键挑战——如幻觉现象、上下文信息丢失与数据集偏差——仍持续制约模型性能？
• RQ4 为何当前的最先进模型在作为视障用户的有效视觉助手方面仍表现不足？
• RQ5 未来模型应如何重新设计，以生成更密集、更具上下文相关性的字幕，以满足可访问性需求？

主要发现

• 视觉-语言预训练（VLP）方法与Transformer架构已成为最先进模型的主导技术，在标准基准测试中显著提升了性能。
• 尽管在BLEU与CIDEr等自动指标上得分较高，生成的字幕在语义深度与事实一致性方面仍不及人工撰写描述。
• 对象幻觉与上下文细节缺失仍是普遍问题，尤其在复杂或模糊场景中更为明显。
• 当前模型不适用于视障用户，因其未在字幕结构中优先考虑显著或空间相关的信息。
• 无需检测器的端到端VLP模型展现出潜力，但需进一步研究以匹配或超越基于检测的架构性能。
• 目前严重缺乏专为辅助技术设计的模型，大多数方法生成的是简洁、通用的字幕，而非密集、响应查询的描述。