[论文解读] Generating captions without looking beyond objects

Hendrik Heuer, Christof Monz+1 more|arXiv (Cornell University)|Oct 12, 2016

Multimodal Machine Learning Applications参考文献 10被引用 8

一句话总结

本文提出了一项盲式名词翻译任务，表明仅使用名词输入，最先进的语言模型即可生成与完整图像字幕系统相当的图像字幕，揭示了语言模型本身在字幕生成中占主导性能。关键发现是名词、动词和介词对BLEU分数贡献最大，这些类别具有显著的改进潜力。

ABSTRACT

This paper explores new evaluation perspectives for image captioning and introduces a noun translation task that achieves comparative image caption generation performance by translating from a set of nouns to captions. This implies that in image captioning, all word categories other than nouns can be evoked by a powerful language model without sacrificing performance on n-gram precision. The paper also investigates lower and upper bounds of how much individual word categories in the captions contribute to the final BLEU score. A large possible improvement exists for nouns, verbs, and prepositions.

研究动机与目标

• 使用自动评估指标，研究各类词汇（如名词、动词、介词）对图像字幕性能的贡献。
• 评估强大的语言模型是否仅通过提取的名词即可生成高质量字幕，而无需视觉输入。
• 通过隔离语言建模能力，挑战视觉理解对高性能字幕生成必不可少的假设。
• 通过分析各类词汇贡献的下界和上界，提供超越标准指标（如BLEU）的新评估视角。
• 推动图像字幕领域采用更严格、任务特定的评估指标，以更准确反映语义和语言准确性。

提出的方法

• 设计了一项盲式名词翻译任务，其中神经机器翻译模型将从字幕中提取的名词集合翻译为完整字幕，且不访问视觉特征。
• 使用斯坦福词性标注器从Karpathy等人系统生成的字幕中提取名词，确保输入的一致性以供比较。
• 翻译模型在MSCOCO 2014训练集的500,000组名词排列及其对应完整字幕上进行训练。
• 在MSCOCO 2014验证集上使用BLEU-1和BLEU-4分数评估性能，以衡量n-gram精确度。
• 通过模拟无法生成特定词类，计算各类词汇贡献的下界和上界，揭示其对BLEU分数的影响。
• 分析三种最先进的字幕生成系统（Karpathy、Vinyals、Xu等人），比较各模型中各类词汇的贡献。

实验结果

研究问题

• RQ1 语言模型仅使用从真实字幕中提取的一组名词，能在多大程度上生成准确的字幕？
• RQ2 名词、动词、介词和限定词等各类词汇对图像字幕最终BLEU分数的贡献有多大？
• RQ3 通过优化特定词汇类别的生成，图像字幕性能的提升潜力有多大？
• RQ4 不同最先进的字幕生成模型中，各类词汇贡献的下界和上界如何变化？
• RQ5 盲式名词翻译任务能否作为评估字幕系统内在语言建模能力的有效代理？

主要发现

• 盲式名词翻译系统生成的字幕性能可与最先进的图像字幕模型相媲美，证明LSTM具有强大的语言建模能力。
• 名词对BLEU分数贡献最大，若在Vinyals等人系统中优化名词生成，BLEU-1最高可提升11.9%。
• 动词和介词也显示出显著的改进空间，对于基于注意力的Xu等人系统，BLEU-1和BLEU-4分别有高达3%和3.3%的潜在提升。
• 若完全无法生成名词，将导致单个词精度（BLEU-1）下降近19%，表明名词在字幕质量中的关键作用。
• Xu等人系统中，介词的上界显示BLEU-4有3.3%的提升潜力，凸显其贡献被严重低估。
• 限定词在Karpathy系统中具有很高的改进潜力（BLEU-1提升5%），但在其他两个模型中则较低，表明存在模型特异性依赖。