[论文解读] Modality-specific Cross-modal Similarity Measurement with Recurrent Attention Network

Yuxin Peng, Jinwei Qi+1 more|arXiv (Cornell University)|Aug 16, 2017

Multimodal Machine Learning Applications参考文献 42被引用 3

一句话总结

本文提出一种基于循环注意力网络的模态特定交叉模态相似度度量（MCSM）方法，通过独立建模模态特定语义，实现无需显式公共表示的端到端交叉模态相似度学习。通过利用模态特定语义空间与自适应融合，该方法在Wikipedia、Pascal Sentence以及作者自建的XMediaNet数据集上均优于9种最先进方法，展现出在捕捉模态间不平衡与互补关系方面的优越性能。

ABSTRACT

Nowadays, cross-modal retrieval plays an indispensable role to flexibly find information across different modalities of data. Effectively measuring the similarity between different modalities of data is the key of cross-modal retrieval. Different modalities such as image and text have imbalanced and complementary relationships, which contain unequal amount of information when describing the same semantics. For example, images often contain more details that cannot be demonstrated by textual descriptions and vice versa. Existing works based on Deep Neural Network (DNN) mostly construct one common space for different modalities to find the latent alignments between them, which lose their exclusive modality-specific characteristics. Different from the existing works, we propose modality-specific cross-modal similarity measurement (MCSM) approach by constructing independent semantic space for each modality, which adopts end-to-end framework to directly generate modality-specific cross-modal similarity without explicit common representation. For each semantic space, modality-specific characteristics within one modality are fully exploited by recurrent attention network, while the data of another modality is projected into this space with attention based joint embedding to utilize the learned attention weights for guiding the fine-grained cross-modal correlation learning, which can capture the imbalanced and complementary relationships between different modalities. Finally, the complementarity between the semantic spaces for different modalities is explored by adaptive fusion of the modality-specific cross-modal similarities to perform cross-modal retrieval. Experiments on the widely-used Wikipedia and Pascal Sentence datasets as well as our constructed large-scale XMediaNet dataset verify the effectiveness of our proposed approach, outperforming 9 state-of-the-art methods.

研究动机与目标

• 为解决现有交叉模态检索方法将不同模态同等对待、将其投影到单一公共空间所带来的局限性，该方法旨在保留模态特异性特征。
• 通过为每种模态构建独立的语义空间，建模不同模态之间不平衡且互补的特性（例如，图像包含文本未描述的细节，反之亦然）。
• 在无需显式公共表示的前提下，实现端到端的交叉模态相似度学习，通过统一框架直接生成模态特定的相似度。
• 通过自适应融合模态特定语义空间之间的互补性，提升检索准确性。

提出的方法

• 为每种模态（如图像与文本）构建独立的语义空间，以在交叉模态相关性学习过程中保留模态特异性特征。
• 采用基于注意力的联合嵌入损失的循环注意力网络，建模模态内依赖关系，并利用注意力权重对齐跨模态表示。
• 通过基于注意力的联合嵌入，将一种模态的数据投影到另一种模态的语义空间中，实现在保留模态特异性特征的同时进行细粒度的相关性学习。
• 采用端到端框架，直接生成模态特定的交叉模态相似度，无需显式公共表示。
• 应用自适应融合策略，结合来自两个语义空间的相似度，根据模态特异性相关性动态加权贡献。
• 使用联合损失函数优化整个网络，该函数整合了模态特异性表示学习与交叉模态相似度学习。

实验结果

研究问题

• RQ1 当不同模态表现出不平衡且互补的信息（如图像包含文本未描述的细节）时，如何有效度量交叉模态相似度？
• RQ2 与共享公共空间相比，为每种模态构建独立语义空间是否能更好地保留模态特异性特征？
• RQ3 与简单平均或晚期融合相比，模态特定相似度的自适应融合是否能提升交叉模态检索性能？
• RQ4 所提方法是否能在多样化的交叉模态检索基准上超越最先进方法？

主要发现

• 在Wikipedia数据集上，所提MCSM方法达到0.598的平均平均精度（mAP），显著优于次优方法。
• 在Pascal Sentence数据集上，MCSM方法达到0.598的mAP，较第二好的方法高出0.019。
• 在大规模XMediaNet数据集上，MCSM方法达到0.545的mAP，展现出强大的泛化能力与可扩展性。
• 消融实验表明，MCSM-image在具有物体级语义的数据集（如Pascal Sentence和XMediaNet）上优于MCSM-text，而MCSM-text在高层语义数据集（如Wikipedia）上表现更优，证实了模态信息的不平衡性。
• 自适应融合在所有实验中均优于晚期融合（MCSM-LF），证明该方法能有效捕捉语义空间间的互补性。
• 所提方法在全部三个数据集上均超越9种最先进方法，验证了其在交叉模态检索中的有效性与鲁棒性。