[论文解读] A Comprehensive Survey of Deep Learning for Image Captioning

Md Zakir Hossain, Ferdous Sohel+2 more|arXiv (Cornell University)|Oct 6, 2018

Multimodal Machine Learning Applications参考文献 141被引用 12

一句话总结

本篇全面综述回顾了基于深度学习的图像字幕生成方法，将其分类为13种不同方法，如基于注意力机制、编码器-解码器和多模态架构等。通过使用MSCOCO等标准数据集以及BLEU、ROUGE、METEOR和SPICE等指标评估性能，突出显示注意力机制和多模态融合是提升字幕质量与语义准确性的关键因素。

ABSTRACT

Generating a description of an image is called image captioning. Image captioning requires to recognize the important objects, their attributes and their relationships in an image. It also needs to generate syntactically and semantically correct sentences. Deep learning-based techniques are capable of handling the complexities and challenges of image captioning. In this survey paper, we aim to present a comprehensive review of existing deep learning-based image captioning techniques. We discuss the foundation of the techniques to analyze their performances, strengths and limitations. We also discuss the datasets and the evaluation metrics popularly used in deep learning based automatic image captioning.

研究动机与目标

• 提供2015年后发表的基于深度学习的图像字幕生成技术的全面综述，这些技术在以往综述中代表性不足。
• 对13种不同的基于深度学习的图像字幕生成方法进行分类与分析，包括基于注意力机制、编码器-解码器和多模态方法。
• 使用MSCOCO、Flickr30k和Visual Genome等标准数据集，评估并比较这些方法的性能。
• 分析并对比广泛使用的评估指标——BLEU、ROUGE、METEOR、CIDEr和SPICE——在衡量流畅性、充分性和语义准确性方面的能力。
• 识别当前方法的局限性，并提出未来研究方向，包括开放域字幕生成、外部知识整合以及无监督/强化学习方法。

提出的方法

• 本文对基于深度学习的图像字幕生成方法进行了系统性分类，将方法归入13个类别，包括基于注意力机制、编码器-解码器和基于语义概念的模型。
• 采用标准基准进行评估：MSCOCO、Flickr30k和Visual Genome，这些数据集提供多样化的多字幕图像，用于训练与测试。
• 研究分析了在多种评估指标下的性能表现：BLEU用于n-gram精确率，ROUGE用于召回率与流畅性，METEOR用于片段级对齐，CIDEr用于显著性，SPICE用于语义准确性。
• 对比了如CNN-LSTM编码器、注意力机制以及联合嵌入视觉与语言特征的多模态融合策略等架构。
• 综述强调使用交叉熵损失的监督学习，同时讨论了强化学习和基于GAN的方法以提升生成结果的多样性与质量。
• 强调视觉注意力在聚焦显著图像区域方面的作用，从而提升字幕的相关性与连贯性。

Figure 1. An overall taxonomy of deep learning-based image captioning.

实验结果

研究问题

• RQ1 基于注意力机制、编码器-解码器和多模态模型等不同深度学习架构在生成准确且多样化的图像字幕方面如何比较？
• RQ2 现有评估指标（BLEU、ROUGE、METEOR、CIDER、SPICE）在衡量字幕质量方面的优势与局限性是什么？
• RQ3 当前模型在检测图像中显著对象、属性及其关系方面存在多大程度的不足？
• RQ4 如何通过引入外部知识以及采用无监督或强化学习方法，超越监督学习以提升字幕生成质量？
• RQ5 在开放域图像上生成高质量、语义丰富且多样化的字幕面临哪些关键挑战？

主要发现

• 基于注意力机制的模型通过动态聚焦于相关图像区域，在提升生成字幕的准确性和相关性方面优于标准的编码器-解码器架构。
• SPICE在捕捉语义内容方面优于其他指标，因此在评估字幕质量方面比单独使用BLEU或ROUGE更有效。
• Gu et al. 和Yao et al. 的方法实现了较高的语义正确性，而Rennie et al. 和Lu et al. 的方法生成的字幕在流畅性、充分性和语法准确性方面表现更优。
• 尽管已有进展，当前模型在复杂或开放域场景中仍难以准确检测关键对象及其关系。
• 监督学习方法严重依赖大规模标注数据集，凸显了发展无监督和强化学习方法以减少对标注数据依赖的必要性。
• 未来研究应聚焦于开放域字幕生成、外部知识整合，以及提升生成字幕的多样性与事实一致性。

Figure 2. A block diagram of multimodal space-based image captioning.