[论文解读] Learning to Evaluate Image Captioning

Yin Cui, Guandao Yang+3 more|arXiv (Cornell University)|Jun 17, 2018

Multimodal Machine Learning Applications参考文献 31被引用 17

一句话总结

本文提出了一种基于学习的判别性度量方法，用于图像字幕评估，该方法采用CNN-LSTM架构和二分类器，通过训练以区分人工撰写与机器生成的字幕。通过引入病理字幕变换作为负样本的数据增强技术，该度量方法在Flickr 8k和COCO基准上均实现了与人类判断更高的相关性，优于CIDEr、METEOR、ROUGE和SPICE。

ABSTRACT

Evaluation metrics for image captioning face two challenges. Firstly, commonly used metrics such as CIDEr, METEOR, ROUGE and BLEU often do not correlate well with human judgments. Secondly, each metric has well known blind spots to pathological caption constructions, and rule-based metrics lack provisions to repair such blind spots once identified. For example, the newly proposed SPICE correlates well with human judgments, but fails to capture the syntactic structure of a sentence. To address these two challenges, we propose a novel learning based discriminative evaluation metric that is directly trained to distinguish between human and machine-generated captions. In addition, we further propose a data augmentation scheme to explicitly incorporate pathological transformations as negative examples during training. The proposed metric is evaluated with three kinds of robustness tests and its correlation with human judgments. Extensive experiments show that the proposed data augmentation scheme not only makes our metric more robust toward several pathological transformations, but also improves its correlation with human judgments. Our metric outperforms other metrics on both caption level human correlation in Flickr 8k and system level human correlation in COCO. The proposed approach could be served as a learning based evaluation metric that is complementary to existing rule-based metrics.

研究动机与目标

• 解决传统基于规则的度量方法（如BLEU、CIDEr、METEOR、ROUGE）在图像字幕评估中与人类判断相关性差的问题。
• 克服基于规则的度量方法在处理可逃避检测的病理字幕结构（如重复或句法有误的句子）时的僵化性。
• 开发一种鲁棒且可学习的评估度量方法，通过训练分类器执行类似图灵测试的区分任务，直接建模人类批评行为。
• 通过数据增强显式引入人工生成的病理字幕作为负样本训练示例，提升度量方法的鲁棒性和与人类判断的相关性。
• 证明所提出的度量方法不仅与人类判断更一致，而且在无需手动更新规则的情况下可适应新出现的病理情况。

提出的方法

• 使用CNN提取图像级特征，利用基于LSTM的RNN编码字幕文本表示，训练判别性模型。
• 使用二分类器（即“批评者”）预测给定字幕是人工撰写还是机器生成，从而有效学习模拟人类判断。
• 提出一种数据增强方案，对字幕应用受控的语言变换（如重复、句法扭曲），生成合成的病理字幕作为负样本训练数据。
• 在真实人工字幕与增强后的病理字幕组合数据上进行训练，以提升对罕见或对抗性句式结构的泛化能力和鲁棒性。
• 通过在已知病理变换上进行系统性测试，评估度量方法的鲁棒性，衡量其对不自然或冗余字幕的惩罚能力。
• 在验证集（如COCO和Flickr 8k）上采用两折交叉验证策略，确保可靠的泛化能力并避免数据泄露。

实验结果

研究问题

• RQ1 学习型度量方法是否能在与人类判断的相关性方面超越传统基于规则的度量方法？
• RQ2 通过病理字幕变换进行数据增强，在多大程度上能提升学习型评估度量的鲁棒性和泛化能力？
• RQ3 与现有度量方法相比，所提出的度量方法在不同图像字幕基准（如COCO和Flickr 8k）上的泛化能力如何？
• RQ4 该度量方法是否能有效检测并惩罚传统度量方法无法识别的句法或语义有缺陷的字幕？
• RQ5 当在测试阶段遇到训练期间未见过的对抗性或非自然字幕结构时，该度量方法是否仍能保持高性能？

主要发现

• 在Flickr 8k数据集上，该度量方法与专家标注的肯德尔等级相关系数τ达到0.466，优于SPICE（0.456）及其他所有基于规则的度量方法。
• 在COCO验证集上，该度量方法与人类判断（M1）的皮尔逊相关系数ρ达到0.939，显著优于SPICE（0.759）及其他基线方法。
• 通过数据增强，该度量方法与人类判断的相关性从ρ = 0.821（无数据增强）提升至ρ = 0.939（有数据增强），证明了对抗性训练样本的有效性。
• 该度量方法在排序顶尖字幕生成模型时与人类判断高度一致，如图7所示，其能正确反映人类对高质量输出的偏好。
• 该度量方法对诸如句子重复和句法扭曲等病理变换具有强鲁棒性，而这些情况常使SPICE等基于规则的度量方法失效。
• 该方法可灵活适应新出现的病理情况，而无需手动更新规则，这与具有固定启发式规则的传统度量方法形成鲜明对比。