[论文解读] Cross-modal Scene Graph Matching for Relationship-aware Image-Text Retrieval

Sijin Wang, Ruiping Wang+3 more|arXiv (Cornell University)|Oct 11, 2019

Multimodal Machine Learning Applications参考文献 39被引用 11

一句话总结

本文提出了一种基于跨模态场景图匹配的关系感知图像-文本检索方法。该方法分别将图像和文本建模为视觉场景图（visual scene graph）和文本场景图（textual scene graph），并采用专用的图编码器学习对象与关系的联合表示，通过显式捕捉实体之间的语义关系，在Flickr30k和MSCOCO数据集上实现了最先进（SOTA）的性能表现。

ABSTRACT

Image-text retrieval of natural scenes has been a popular research topic. Since image and text are heterogeneous cross-modal data, one of the key challenges is how to learn comprehensive yet unified representations to express the multi-modal data. A natural scene image mainly involves two kinds of visual concepts, objects and their relationships, which are equally essential to image-text retrieval. Therefore, a good representation should account for both of them. In the light of recent success of scene graph in many CV and NLP tasks for describing complex natural scenes, we propose to represent image and text with two kinds of scene graphs: visual scene graph (VSG) and textual scene graph (TSG), each of which is exploited to jointly characterize objects and relationships in the corresponding modality. The image-text retrieval task is then naturally formulated as cross-modal scene graph matching. Specifically, we design two particular scene graph encoders in our model for VSG and TSG, which can refine the representation of each node on the graph by aggregating neighborhood information. As a result, both object-level and relationship-level cross-modal features can be obtained, which favorably enables us to evaluate the similarity of image and text in the two levels in a more plausible way. We achieve state-of-the-art results on Flickr30k and MSCOCO, which verifies the advantages of our graph matching based approach for image-text retrieval.

研究动机与目标

• 为解决现有图像-文本检索方法仅关注全局特征或孤立对象的局限性，通过在复杂场景中引入关系信息。
• 通过在图像和文本中建模对象之间的语义关系，提升在包含多个对象的自然场景中的检索准确性。
• 开发一种统一框架，实现在模态间对对象级和关系级特征进行联合匹配。
• 验证假设：建模关系可显著提升图像-文本检索中的跨模态相似性度量性能。

提出的方法

• 该方法从图像中的对象及其检测到的关系构建视觉场景图（VSG），并从文本句子的句法解析构建文本场景图（TSG）。
• 多模态图卷积网络（MGCN）通过聚合邻域信息来编码VSG，以优化对象和关系特征。
• 使用两个独立的双向GRU对TSG进行编码，分别处理对象和关系特征，以保留模态特异性语义。
• 在两种模态中分别学习对象级和关系级特征，并在模态间进行匹配，以实现跨模态检索。
• 模型使用对比损失来优化图像与文本表示在两个层级上的对齐。
• 图编码器通过聚合连接邻居的信息来优化节点表示，增强语义表达能力。

实验结果

研究问题

• RQ1 在图像和文本中建模对象之间的关系，是否能超越仅基于对象的匹配方式，显著提升图像-文本检索性能？
• RQ2 在场景图中显式建模关系，如何影响跨模态表示的对齐效果？
• RQ3 两阶段匹配策略（即对象级与关系级）是否比全局方法或仅基于对象的方法带来更高的检索准确率？
• RQ4 在对象组合存在歧义的复杂场景中，关系感知特征在多大程度上提升了检索性能？

主要发现

• 所提出的SGM模型在Flickr30k和MSCOCO数据集上均实现了最先进性能，显著优于现有方法。
• 在Flickr30k数据集上，与最佳现有方法相比，图像检索的R@1相对提升16.18%，文本标题检索的R@1相对提升16.8%。
• 在MSCOCO 5k测试集上，文本标题检索的R@1相对提升10.62%，图像检索的R@1相对提升6.65%。
• 在MSCOCO 1k测试集上，该模型在关键的R@1指标上表现更优，证明其在具有挑战性的检索场景中具备鲁棒性。
• 定性结果表明，修改文本查询中的关系词会显著改变检索到的图像，证实模型能够捕捉并利用关系语义。
• 该模型优于基于全局表示和基于局部对象的方法，验证了在复杂图像-文本检索中建模关系的必要性。