[论文解读] Describing like humans: on diversity in image captioning

Qingzhong Wang, Antoni B. Chan|arXiv (Cornell University)|Mar 28, 2019

Multimodal Machine Learning Applications参考文献 35被引用 18

一句话总结

本文提出了一种用于图像字幕生成的新型多样性度量方法——Self-CIDEr，该方法结合核化CIDEr得分与潜在语义分析，用于衡量字幕集合中的语义多样性。研究发现，尽管最先进的模型在准确率方面表现优异（如CIDEr），但其生成的字幕多样性较低；同时表明，在强化学习中平衡交叉熵损失与CIDEr奖励，可有效改善准确率与多样性之间的权衡。

ABSTRACT

Recently, the state-of-the-art models for image captioning have overtaken human performance based on the most popular metrics, such as BLEU, METEOR, ROUGE, and CIDEr. Does this mean we have solved the task of image captioning? The above metrics only measure the similarity of the generated caption to the human annotations, which reflects its accuracy. However, an image contains many concepts and multiple levels of detail, and thus there is a variety of captions that express different concepts and details that might be interesting for different humans. Therefore only evaluating accuracy is not sufficient for measuring the performance of captioning models --- the diversity of the generated captions should also be considered. In this paper, we proposed a new metric for measuring the diversity of image captions, which is derived from latent semantic analysis and kernelized to use CIDEr similarity. We conduct extensive experiments to re-evaluate recent captioning models in the context of both diversity and accuracy. We find that there is still a large gap between the model and human performance in terms of both accuracy and diversity and the models that have optimized accuracy (CIDEr) have low diversity. We also show that balancing the cross-entropy loss and CIDEr reward in reinforcement learning during training can effectively control the tradeoff between diversity and accuracy of the generated captions.

研究动机与目标

• 解决图像字幕语义多样性评估中缺乏可靠度量的问题。
• 探究在标准度量（如CIDEr）上超越人类表现的最先进模型，是否在多样性方面真正达到人类水平。
• 开发一种在训练过程中可控制准确率与多样性之间权衡的方法。
• 利用基于CIDEr的核化所导出的潜在语义空间，对字幕集合的语义内容进行可视化与解释。

提出的方法

• 提出Self-CIDEr，一种基于构建字幕集合中所有字幕对之间CIDEr得分的自相似性矩阵的多样性度量方法。
• 对基于CIDEr的相似性矩阵应用核化潜在语义分析（LSA），以从字幕集合中提取语义成分。
• 通过核矩阵的奇异值分解（SVD）从奇异值中推导出多样性得分，奇异值越大表示语义多样性越高。
• 使用雷达图在二维潜在语义空间中可视化字幕集合，其中每个轴对应一个主导语义概念（如“进食”、“交谈”）。
• 引入一种强化学习训练策略，通过平衡交叉熵损失与基于CIDEr的奖励，实现对准确率-多样性权衡的控制。
• 使用mBLEU及其他基线方法验证该度量，结果表明Self-CIDEr在捕捉字幕间语义差异方面优于基于n-gram的度量。

实验结果

研究问题

• RQ1 在语义变化方面，最先进模型生成的字幕与人工标注字幕相比，其多样性如何？
• RQ2 基于CIDEr相似性与核化LSA的度量能否有效衡量字幕集合中的语义多样性？
• RQ3 当前图像字幕模型在字幕准确率与多样性之间存在何种权衡？
• RQ4 在损失函数中采用平衡策略的强化学习，能否同时提升字幕生成的准确率与多样性？

主要发现

• 在CIDEr准确率方面优化的最先进模型，其生成的字幕语义多样性显著低于人工标注集合。
• Self-CIDEr度量与人类对多样性的判断具有强相关性，且在捕捉字幕间语义差异方面优于mBLEU。
• 在强化学习中采用交叉熵与CIDEr奖励的平衡组合进行训练的模型，可在不损失准确率的前提下实现更高的多样性。
• 潜在语义空间中的可视化结果表明，人工字幕强调“进食”、“小女孩”等关键语义概念，而模型生成的字幕往往遗漏或扭曲这些语义细节。
• Self-CIDEr度量成功识别出包含重复短语（如“斑马在吃草”）的字幕集合多样性较低，即使mBLEU得分较高。