[论文解读] Deep Fragment Embeddings for Bidirectional Image Sentence Mapping

Andrej Karpathy, Armand Joulin+1 more|arXiv (Cornell University)|Jun 22, 2014

Multimodal Machine Learning Applications参考文献 40被引用 723

一句话总结

本文提出一种深度学习模型，将视觉对象和语言依存关系作为片段嵌入共享的多模态空间中，实现更准确且可解释的双向图像-句子检索。通过引入片段对齐目标与全局排序损失，该模型在Flickr30K、Pascal1K和Flickr8K上均达到最先进性能，其中在Flickr30K上的图像标注任务中R@1达到16.4%，句子检索任务中R@1达到10.3%。

ABSTRACT

We introduce a model for bidirectional retrieval of images and sentences through a multi-modal embedding of visual and natural language data. Unlike previous models that directly map images or sentences into a common embedding space, our model works on a finer level and embeds fragments of images (objects) and fragments of sentences (typed dependency tree relations) into a common space. In addition to a ranking objective seen in previous work, this allows us to add a new fragment alignment objective that learns to directly associate these fragments across modalities. Extensive experimental evaluation shows that reasoning on both the global level of images and sentences and the finer level of their respective fragments significantly improves performance on image-sentence retrieval tasks. Additionally, our model provides interpretable predictions since the inferred inter-modal fragment alignment is explicit.

研究动机与目标

• 通过建模图像片段（对象）与句子片段（依存关系）之间的细粒度对应关系，提升双向图像-句子检索性能。
• 通过显式学习并可视化跨模态片段对齐，增强模型可解释性。
• 解决全局嵌入模型将图像和句子视为单一统一表示所存在的局限性。
• 提出一种新型损失函数——片段对齐损失，直接促进视觉与语言片段之间的对应关系。
• 证明在全局与片段两个层次上进行推理，能显著提升检索性能。

提出的方法

• 模型使用卷积神经网络（Faster R-CNN）从图像中提取对象候选区域和特征，将每个检测到的对象视为一个视觉片段。
• 通过依存解析器处理句子，提取带类型的依存关系（例如，AMOD、CONJ、SBJ），将每个关系视为一个语言片段。
• 利用共享参数的深度神经网络，将视觉和语言片段嵌入到共享的多模态嵌入空间中。
• 模型通过联合损失进行优化：包括全局排序损失，以确保正确图像-句子对的得分更高；以及片段对齐损失，以对齐跨模态的对应片段。
• 片段对齐损失被表述为最大边缘目标，鼓励正样本片段对（如“black dog”）的相似度高于负样本对。
• 模型端到端训练，并通过标准基准上的检索指标（如Recall@K和中位数排名）进行评估。

实验结果

研究问题

• RQ1 用图像和句子的片段（对象与依存关系）代替全局表示，能否提升图像-句子检索性能？
• RQ2 引入片段级对齐目标是否能带来比仅使用全局排序更好的泛化能力与更精确的检索结果？
• RQ3 所学习的片段对齐是否能提供可解释的预测结果，揭示模型如何将语言与视觉场景关联？
• RQ4 该模型在未见对象属性或训练词汇表外的概念（如OOV）上，泛化能力如何？
• RQ5 与词级或短语级表示相比，片段级表示在捕捉复杂视觉-语言对应关系方面表现如何？

主要发现

• 在Flickr30K图像标注任务中，模型达到16.4%的Recall@1，显著优于先前方法如DeViSE（4.5%）和全局排序基线（11.5%）。
• 在Flickr30K句子检索任务中，模型达到10.3%的Recall@1，超过DeViSE（6.7%）和全局排序基线（8.8%）。
• 引入片段对齐目标后，Flickr30K图像标注任务的中位数排名从14降至10，表明模型更快收敛到正确结果。
• 定性分析表明，模型能产生可解释的对齐结果：例如，能正确将“black dog”与图像中的黑狗对应起来，即使该属性未出现在ImageNet中。
• 模型能泛化到未登录词概念，如“jacket”和“rocky terrain”，这些均不在ImageNet检测类别中，表明对新属性具有鲁棒性。
• 微调CNN可进一步提升性能，在图像标注任务中达到16.4% R@1和8的中位数排名，证明了联合优化的价值。