[论文解读] End-to-end Image Captioning Exploits Multimodal Distributional Similarity

Pranava Madhyastha, Josiah Wang+1 more|arXiv (Cornell University)|Sep 11, 2018

Multimodal Machine Learning Applications参考文献 27被引用 3

一句话总结

本文研究端到端图像字幕模型是否通过在多模态特征空间中利用分布相似性而非真正的视觉理解来生成字幕。通过在保持RNN解码器不变的情况下改变图像表征，作者表明，即使在输入存在噪声或压缩的情况下，模型仍能稳健地将测试图像与语义相似的训练图像匹配，并基于这些匹配生成字幕，表明其依赖于相似性匹配而非深层视觉理解。

ABSTRACT

We hypothesize that end-to-end neural image captioning systems work seemingly well because they exploit and learn `distributional similarity' in a multimodal feature space by mapping a test image to similar training images in this space and generating a caption from the same space. To validate our hypothesis, we focus on the `image' side of image captioning, and vary the input image representation but keep the RNN text generation component of a CNN-RNN model constant. Our analysis indicates that image captioning models (i) are capable of separating structure from noisy input representations; (ii) suffer virtually no significant performance loss when a high dimensional representation is compressed to a lower dimensional space; (iii) cluster images with similar visual and linguistic information together. Our findings indicate that our distributional similarity hypothesis holds. We conclude that regardless of the image representation used image captioning systems seem to match images and generate captions in a learned joint image-text semantic subspace.

研究动机与目标

• 挑战端到端图像字幕模型通过真正视觉与语言理解实现强性能的假设。
• 探究图像字幕系统是否依赖于联合视觉-语义空间中的分布相似性，而非语义推理。
• 评估字幕模型在图像表征变化（包括噪声和降维）下的鲁棒性。
• 评估字幕模型在训练与测试数据分布发生偏移时的领域泛化能力。
• 提供实证证据，表明字幕生成是由学习到的视觉-语义子空间中的图像匹配驱动的。

提出的方法

• 作者在保持基于RNN的文本生成组件不变的前提下，改变输入图像表征（例如，ResNet-152特征、稀疏BoW、伪随机向量）。
• 他们使用标准自动评估指标（BLEU、METEOR、CIDEr、SPICE）在不同图像表征下评估模型性能。
• 他们引入源自物体级特征的伪随机向量，以测试模型从噪声中分离有意义结构的能力。
• 他们将高维图像嵌入压缩到低维空间，以评估在降维下的性能退化情况。
• 他们通过在MSCOCO上训练的模型在Flickr30k测试集上进行评估，以评估跨领域泛化能力。
• 他们分析视觉-语义嵌入空间中图像表征的聚类行为，以评估语义分组情况。

实验结果

研究问题

• RQ1 端到端图像字幕模型是否通过在多模态嵌入空间中将测试图像与相似的训练图像匹配来生成字幕？
• RQ2 当输入为噪声或随机图像表征时，模型是否仍能保持强性能，表明其对输入结构具有鲁棒性？
• RQ3 当高维图像特征被压缩为低维表示时，性能下降的程度如何？
• RQ4 当测试数据分布与训练数据不同时，模型性能如何变化？
• RQ5 图像表征是否在视觉-语义空间中根据共享的视觉与语言内容聚类？

主要发现

• 端到端图像字幕模型能够从噪声伪随机图像表征中分离出有意义的结构，表明其对输入扰动具有鲁棒性。
• 当高维图像嵌入被压缩为低维空间时，性能几乎保持不变，支持了模型依赖于基于相似性的匹配而非语义理解的假设。
• 具有相似视觉与语言内容的图像在学习到的视觉-语义子空间中聚类在一起，证实了共享语义嵌入空间的存在。
• 在MSCOCO上训练的模型在Flickr30k测试集上表现出显著的性能下降，尽管词汇表外词重叠率仅为8.6%，表明存在强烈的领域依赖性。
• 在Flickr30k上BLEU与METEOR分数的下降主要源于字幕的结构与长度差异，而非词汇不匹配，表明模型无法在语言分布之间有效泛化。
• 综合结果支持如下假设：端到端字幕模型利用多模态空间中的分布相似性，而非进行深层视觉或语言推理。