[论文解读] Learning Deep Structure-Preserving Image-Text Embeddings

Liwei Wang, Yin Li+1 more|arXiv (Cornell University)|Nov 19, 2015

Multimodal Machine Learning Applications参考文献 58被引用 55

一句话总结

该论文提出了一种深度双分支神经网络，通过结合双向排序损失与受度量学习启发的视图内结构保持约束，学习联合图像-文本嵌入。该方法在图像到文本和文本到图像检索基准（Flickr30K 和 MSCOCO）上实现了最先进性能，并在 Flickr30K Entities 数据集的短语定位任务中显著优于 CCA，尤其是在使用难负样本进行微调后表现更优。

ABSTRACT

This paper proposes a method for learning joint embeddings of images and text using a two-branch neural network with multiple layers of linear projections followed by nonlinearities. The network is trained using a large margin objective that combines cross-view ranking constraints with within-view neighborhood structure preservation constraints inspired by metric learning literature. Extensive experiments show that our approach gains significant improvements in accuracy for image-to-text and text-to-image retrieval. Our method achieves new state-of-the-art results on the Flickr30K and MSCOCO image-sentence datasets and shows promise on the new task of phrase localization on the Flickr30K Entities dataset.

研究动机与目标

• 通过学习一个共享嵌入空间以保留跨模态间的语义相似性，提升跨模态图像-文本检索性能。
• 解决基于 CCA 的方法在复杂非线性数据分布上的可扩展性与性能局限。
• 通过引入视图内邻域结构保持机制（受度量学习启发），提升检索准确性。
• 在图像到句子和句子到图像检索任务上实现最先进性能。
• 在图像中短语定位这一新兴任务上展示方法的有效性。

提出的方法

• 模型采用双分支深度神经网络，图像和文本分别通过多个全连接层与 ReLU 非线性激活函数进行处理。
• 每个分支在末端进行 L2 归一化，以在共享嵌入空间中使用余弦相似度作为距离度量。
• 网络通过组合损失函数进行训练：双向排序损失（确保正确图像-句子对的排名高于错误对）与视图内结构保持约束（如 LMNN 风格，确保语义相似的样本在嵌入空间中距离更近）。
• 结构保持组件使用三元组样本（锚点、正样本、负样本）来强制模态内相对距离关系。
• 模型采用大边缘目标函数，通过随机梯度下降进行端到端训练。
• 在训练后应用难负样本挖掘：通过识别并添加比真实标注更接近短语的错误定位区域提议，提升模型鲁棒性。

实验结果

研究问题

• RQ1 是否可以通过非线性投影的深度双分支神经网络，超越线性 CCA 基础方法在联合图像-文本嵌入任务中的表现？
• RQ2 通过度量学习引入视图内结构保持是否能提升跨视图检索性能？
• RQ3 所提方法是否能在 Flickr30K 和 MSCOCO 等图像到文本与文本到图像检索基准上实现最先进结果？
• RQ4 该方法是否能泛化到更具挑战性的短语定位任务，该任务要求精确的空间定位？
• RQ5 难负样本挖掘是否能进一步提升性能，尤其是在短语定位任务中？

主要发现

• 所提方法在 Flickr30K 和 MSCOCO 数据集上的图像到文本与文本到图像检索任务中均取得新的最先进结果。
• 在难负样本挖掘后，模型的 Recall@1 提升近 6%，mAP 提升幅度相近，且在 Flickr30K Entities 短语定位基准上超越 CCA。
• 引入结构保持约束后，性能持续优于无此约束的基线模型，尽管由于三元组数量有限，增益较为有限。
• 在未进行负样本挖掘时，模型性能与 CCA 相当；但在使用难负样本微调后，显著优于 CCA。
• 结果表明，将双向排序与视图内结构学习相结合，可生成比单一组件更鲁棒、更准确的嵌入表示。
• 图 3 的可视化示例显示，与 CCA 基线相比，该模型能生成更准确且更紧密定位的边界框。