[论文解读] AMC: Attention guided Multi-modal Correlation Learning for Image Search

Kan Chen, Trung Bui+3 more|arXiv (Cornell University)|Apr 3, 2017

Multimodal Machine Learning Applications参考文献 34被引用 15

一句话总结

本文提出AMC，一种新颖的注意力引导多模态相关性学习框架，通过使用模内与模间注意力网络自适应加权相关特征，联合建模视觉与文本模态，以实现图像搜索。该方法在真实世界图像搜索数据集上取得显著性能提升，在图像字幕排序任务上也表现出色，优于当前最先进模型，且在Recall@10指标上表现更优，无需复杂语言模型。

ABSTRACT

Given a user's query, traditional image search systems rank images according to its relevance to a single modality (e.g., image content or surrounding text). Nowadays, an increasing number of images on the Internet are available with associated meta data in rich modalities (e.g., titles, keywords, tags, etc.), which can be exploited for better similarity measure with queries. In this paper, we leverage visual and textual modalities for image search by learning their correlation with input query. According to the intent of query, attention mechanism can be introduced to adaptively balance the importance of different modalities. We propose a novel Attention guided Multi-modal Correlation (AMC) learning method which consists of a jointly learned hierarchy of intra and inter-attention networks. Conditioned on query's intent, intra-attention networks (i.e., visual intra-attention network and language intra-attention network) attend on informative parts within each modality; a multi-modal inter-attention network promotes the importance of the most query-relevant modalities. In experiments, we evaluate AMC models on the search logs from two real world image search engines and show a significant boost on the ranking of user-clicked images in search results. Additionally, we extend AMC models to caption ranking task on COCO dataset and achieve competitive results compared with recent state-of-the-arts.

研究动机与目标

• 通过利用除单一模态匹配之外的多种与图像相关的模态（如视觉内容、关键词、标签）来提升图像搜索的相关性。
• 通过动态选择各模态内的信息性部分并相应平衡模态，以应对查询意图的多样性挑战。
• 开发一种可扩展的框架，整合人工标注与机器生成（可能含噪声）的多模态数据，实现鲁棒的相似性学习。
• 在真实世界搜索日志上验证有效性，并展示在图像字幕排序等相关下游任务上的泛化能力。

提出的方法

• AMC框架采用视觉模内注意力网络（VAN），生成与查询相关的注意力图，聚焦于图像中的相关区域。
• 语言模内注意力网络（LAN）学习查询与文本模态中单个词语之间的双线性相似度，以突出相关关键词。
• 多模态模间注意力网络（MTN）根据查询意图自适应地平衡不同模态的贡献，促进最相关模态的表达。
• 最终相关性分数通过计算查询嵌入与共享AMC空间中多模态嵌入之间的余弦距离获得。
• 模型采用基于边距的对比损失并结合困难负样本挖掘进行训练，以提升排序性能。
• 该框架支持晚期融合与基于注意力的融合，可集成任意数量的与图像相关的模态。

实验结果

研究问题

• RQ1 注意力机制是否能通过适应查询特定意图，提升图像搜索中多模态相关性学习的效果？
• RQ2 模内注意力网络在视觉与文本模态内过滤无关信息的效率如何？
• RQ3 与固定融合策略相比，模态间的模间注意力在多大程度上提升了排序性能？
• RQ4 AMC在包含噪声、机器生成的元数据（如自动标注关键词）的真实世界搜索日志中是否具备泛化能力？
• RQ5 与当前最先进模型相比，AMC在下游任务（如图像字幕排序）中的表现如何？

主要发现

• 与基线晚期融合模型相比，AMC在图像字幕排序任务（COCO数据集）中实现了Recall@1的绝对提升3.5%。
• AMC-Res模型在CIC基准测试中达到41.4% Recall@1、75.1% Recall@5与87.8% Recall@10，Recall@10指标超越当前最先进水平。
• AMC模型在两个真实世界图像搜索数据集（Clickture与Adobe Stock）上均表现出显著性能提升，证明其在人工标注与自动标注数据上的有效性。
• 性能提升在不同图像特征提取器（VGG与ResNet）上保持一致，表明其具备鲁棒性与可扩展性。
• 即使采用简单的基于跳字模型的字幕表示（Skip-thought向量），AMC仍取得具有竞争力的结果，表明其与更先进语言模型结合后具备巨大潜力。