[论文解读] Consensus-Aware Visual-Semantic Embedding for Image-Text Matching

Haoran Wang, Ying Zhang+3 more|arXiv (Cornell University)|Jul 17, 2020

Multimodal Machine Learning Applications参考文献 48被引用 17

一句话总结

本文提出了一种新型框架——共识感知视觉-语义嵌入（CVSE），通过利用大规模图像字幕语料中语义概念的统计共现关系，整合常识知识，从而提升图像-文本匹配性能。通过构建概念相关性图来学习共识感知概念（CAC）表征，CVSE统一了实例级与共识级特征，在 MS-COCO 和 Flickr30k 数据集上实现了双向检索的最先进性能。

ABSTRACT

Image-text matching plays a central role in bridging vision and language. Most existing approaches only rely on the image-text instance pair to learn their representations, thereby exploiting their matching relationships and making the corresponding alignments. Such approaches only exploit the superficial associations contained in the instance pairwise data, with no consideration of any external commonsense knowledge, which may hinder their capabilities to reason the higher-level relationships between image and text. In this paper, we propose a Consensus-aware Visual-Semantic Embedding (CVSE) model to incorporate the consensus information, namely the commonsense knowledge shared between both modalities, into image-text matching. Specifically, the consensus information is exploited by computing the statistical co-occurrence correlations between the semantic concepts from the image captioning corpus and deploying the constructed concept correlation graph to yield the consensus-aware concept (CAC) representations. Afterwards, CVSE learns the associations and alignments between image and text based on the exploited consensus as well as the instance-level representations for both modalities. Extensive experiments conducted on two public datasets verify that the exploited consensus makes significant contributions to constructing more meaningful visual-semantic embeddings, with the superior performances over the state-of-the-art approaches on the bidirectional image and text retrieval task. Our code of this paper is available at: https://github.com/BruceW91/CVSE.

研究动机与目标

• 解决现有图像-文本匹配方法仅依赖实例级对齐而未利用外部常识知识的局限性。
• 通过利用大规模字幕数据中共享语义概念及其关联关系，建模图像与文本之间的高层语义关系。
• 统一实例级表征与共识级表征，以提升视觉-语义嵌入质量与检索性能。
• 验证共识知识在不同数据集（如从 MS-COCO 到 Flickr30k）之间的泛化能力。

提出的方法

• 从图像字幕语料中挖掘语义概念，并计算其统计共现频率，以建模共识知识。
• 基于共现统计信息构建概念相关性图，利用图卷积网络学习共识感知概念（CAC）表征。
• 通过由超参数 β 控制的可学习融合模块，将 CAC 表征与实例级图像和文本特征进行融合。
• 使用对比损失端到端训练模型，以在统一嵌入空间中对齐图像-文本对，同时保持实例级与共识级语义的一致性。
• 使用 t-SNE 可视化分析 CAC 表征的分布特性与可解释性，与 word2vec 嵌入进行对比。

实验结果

研究问题

• RQ1 从大规模图像字幕中提取的共识知识是否能提升视觉-语义嵌入的图像-文本匹配性能？
• RQ2 将共识级表征与实例级特征融合，对检索性能有何影响？
• RQ3 共识知识在不同图像-文本数据集之间（如从 MS-COCO 到 Flickr30k）的泛化程度如何？
• RQ4 所预测的共识感知概念表征是否具有语义意义，并与人类常识保持一致？

主要发现

• CVSE 在 MS-COCO 和 Flickr30k 上均达到最先进性能，文本检索的 R@1 为 56.4%，R@10 为 89.0%；图像检索的 R@1 为 39.9%，R@10 为 77.2%。
• 消融实验表明，仅使用实例级特征（CVSE β=1）或仅使用共识级特征（CVSE β=0）的性能均较差，证实了两类表征的互补性。
• 在从 MS-COCO 到 Flickr30k 的跨数据集泛化设置中，CVSE 超过所有基线方法，包括重新实现的最先进方法，证明了共识知识的鲁棒性与可迁移性。
• 可视化结果表明，CAC 表征捕捉到了有意义的语义关联——例如，'riding' 与 'person' 密切关联，'plate' 与 'eating' 相关——验证了其与人类常识的一致性。
• 模型能够成功预测输入图像-文本对中未明确出现的相关概念，如在冲浪场景中预测出 'traffic' 和 'buildings'，从而增强可解释性与语义丰富性。