[论文解读] Cross-Modal Retrieval with Implicit Concept Association

Yale Song, Mohammad Soleymani|arXiv (Cornell University)|Apr 12, 2018

Multimodal Machine Learning Applications参考文献 37被引用 8

一句话总结

本文提出了一种基于隐式概念关联的跨模态检索方法，其中文本与视觉内容之间的语义关联（例如GIF中的情感反应）需通过推理获得，而非显式说明。作者提出了一种基于多实例学习的视觉-语义嵌入网络（MiViSE），为每种模态生成多个特定概念的嵌入，并计算所有组合的相似度，在一个新的47K张反应GIF-句子数据集（MRW）上实现了最先进性能，优于Corr-AE和DeViSE等方法。

ABSTRACT

Traditional cross-modal retrieval assumes explicit association of concepts across modalities, where there is no ambiguity in how the concepts are linked to each other, e.g., when we do the image search with a query "dogs", we expect to see dog images. In this paper, we consider a different setting for cross-modal retrieval where data from different modalities are implicitly linked via concepts that must be inferred by high-level reasoning; we call this setting implicit concept association. To foster future research in this setting, we present a new dataset containing 47K pairs of animated GIFs and sentences crawled from the web, in which the GIFs depict physical or emotional reactions to the scenarios described in the text (called "reaction GIFs"). We report on a user study showing that, despite the presence of implicit concept association, humans are able to identify video-sentence pairs with matching concepts, suggesting the feasibility of our task. Furthermore, we propose a novel visual-semantic embedding network based on multiple instance learning. Unlike traditional approaches, we compute multiple embeddings from each modality, each representing different concepts, and measure their similarity by considering all possible combinations of visual-semantic embeddings in the framework of multiple instance learning. We evaluate our approach on two video-sentence datasets with explicit and implicit concept association and report competitive results compared to existing approaches on cross-modal retrieval.

研究动机与目标

• 解决语义关联隐式且需高层推理而非显式对象或动作对齐的跨模态检索场景。
• 引入一个新的基准数据集MRW（My Reaction When），包含47K对动画GIF与描述情感或身体反应的自然语言句子。
• 开发一种新型视觉-语义嵌入模型，能够从每种模态中捕捉多个隐式概念，并通过多实例学习测量其相似度。
• 证明人类在隐式关联下仍能可靠识别匹配的文本-GIF对，验证了该任务的可行性。

提出的方法

• 提出一种基于多实例学习（MIL）的视觉-语义嵌入网络（MiViSE），通过计算每种模态中多个嵌入的所有组合来计算相似度。
• 使用自注意力机制为每种模态生成多个嵌入，使每个嵌入关注输入序列的不同部分，以捕捉不同的隐式概念。
• 采用共享权重的孪生网络架构，将文本和视频输入嵌入到联合嵌入空间，通过余弦相似度进行比较。
• 使用对比损失进行模型训练，以最小化匹配文本-GIF对之间的距离，同时最大化不匹配对之间的距离。
• 利用预训练特征：使用ResNet-50提取视频帧特征，使用GloVe嵌入结合Bi-LSTM处理文本序列。
• 引入注意力图以可视化对匹配决策贡献最大的词语或视频帧，提升模型可解释性。

实验结果

研究问题

• RQ1 当语义关联隐式且需高层推理时，人类能否可靠识别匹配的文本-GIF对？
• RQ2 所提出的MiViSE模型结合多嵌入与MIL，在隐式关联下的跨模态检索中，相较于现有相关性方法与三元组排序方法表现如何？
• RQ3 多嵌入与注意力机制在提升隐式概念检索中的对齐与性能方面起到何种作用？
• RQ4 该模型在不同类型的反应GIF（如情感类、身体类、词汇类）上泛化能力如何？
• RQ5 在同时包含显式与隐式概念关联的数据集上，该模型表现如何？哪些因素促成了其成功？

主要发现

• 用户研究证实，尽管存在模糊性，人类仍能以50.7%的误报率可靠识别具有隐式关联的匹配文本-GIF对，验证了该任务的可行性。
• 所提出的MiViSE模型在显式关联数据集（TGIF）和隐式关联数据集（MRW）上均优于基线方法，包括Corr-AE、DCCA和DeViSE。
• 每种模态使用多个嵌入显著提升了性能，注意力图显示不同嵌入对不同词语或视觉帧表现出不同关注。
• 注意力可视化表明，不同嵌入捕捉了不同的隐式概念——例如，根据视频上下文，分别捕捉“尴尬”或“喜爱”等情感。
• 该模型在处理多样化反应类型（情感类、身体类、动物类、词汇类）时表现出鲁棒性，注意力图能根据文本与视频的语义内容自适应调整。
• 消融实验表明，多嵌入与MIL框架对性能提升均至关重要，且各组件独立贡献于最终结果。