[论文解读] Exploring Nearest Neighbor Approaches for Image Captioning

Jacob Devlin, Saurabh Gupta+3 more|arXiv (Cornell University)|May 17, 2015

Multimodal Machine Learning Applications参考文献 34被引用 160

一句话总结

本文通过检索相似的训练图像并使用 CIDEr 或 BLEU 分数从其字幕中选择共识字幕，评估了最近邻（NN）方法在图像字幕生成中的表现。尽管在 BLEU 和 CIDEr 等自动指标上优于许多神经网络字幕模型，但人工评估显示，生成式模型仍更受青睐，凸显了自动指标与人类判断之间的脱节。

ABSTRACT

We explore a variety of nearest neighbor baseline approaches for image captioning. These approaches find a set of nearest neighbor images in the training set from which a caption may be borrowed for the query image. We select a caption for the query image by finding the caption that best represents the "consensus" of the set of candidate captions gathered from the nearest neighbor images. When measured by automatic evaluation metrics on the MS COCO caption evaluation server, these approaches perform as well as many recent approaches that generate novel captions. However, human studies show that a method that generates novel captions is still preferred over the nearest neighbor approach.

研究动机与目标

• 探究简单的最近邻方法是否能在自动评估指标上与最先进神经网络字幕模型相媲美或超越它们。
• 评估字幕生成与字幕检索在实现类人图像字幕方面的作用。
• 评估自动指标（BLEU、CIDEr）与人类判断在字幕质量评估中的差距。
• 探索不同图像特征表示（GIST、预训练深度特征、微调特征）在最近邻检索中用于字幕生成的有效性。
• 通过在 MS COCO 数据集上对比基于检索的方法与基于生成的模型，为未来研究提供基线。

提出的方法

• 对于每个查询图像，该方法使用不同的特征空间（GIST、预训练 ImageNet 特征（fc7）、用于字幕生成的微调特征）检索 k 个最近的训练图像。
• 从 k 个最近邻图像中收集候选字幕，形成查询图像的潜在字幕集合。
• 通过最大化衡量与其他候选字幕一致性的得分来选择共识字幕，使用 CIDEr 或 BLEU 作为评分函数。
• 最终字幕根据候选字幕中最高的共识得分选出，其中 CIDEr 更倾向于选择更详细且多样的字幕。
• 该方法在 MS COCO 测试集上通过标准自动指标（BLEU、METEOR、CIDEr）和众包方式进行人工评估进行评估。
• 人工评估将系统生成的字幕与人工编写的字幕进行比较，测量被判断为更好、相等或更差的字幕所占百分比。

实验结果

研究问题

• RQ1 基于最近邻的字幕生成方法是否能在自动评估指标上达到或超过最先进神经网络字幕模型的性能？
• RQ2 尽管自动指标得分相似，为何人工评估者仍更偏好生成式字幕模型而非基于检索的方法？
• RQ3 不同的图像特征表示（GIST、预训练、微调）如何影响检索字幕的质量？
• RQ4 BLEU 和 CIDEr 等自动指标在多大程度上与人工判断在图像字幕生成中相关？
• RQ5 结合最近邻检索与神经网络生成的混合方法能否提升整体字幕质量？

主要发现

• 使用微调深度特征（fc7-fine）的最近邻方法在 MS COCO 测试集的多个指标中位列第二或第三，包括 CIDEr 和 BLEU。
• fc7-fine 模型在 CIDEr 上得分为 26.5，在 BLEU 上得分为 25.1，优于多个近期神经网络字幕模型的自动评估表现。
• 尽管自动指标得分优异，人工评估显示仅有 27.6% 的 NN 生成字幕被判断为优于或等于人工编写的字幕，而生成模型（ME + DMSM）的对应比例为 34.0%。
• 使用 CIDEr 的共识字幕选择方法生成的字幕比基于 BLEU 的方法更详细、更具上下文信息。
• 微调深度特征（fc7-fine）在最近邻检索质量上显著优于 GIST 和非微调特征。
• 结果表明自动指标与人类判断之间存在显著脱节，因为自动得分无法预测人类偏好。