[论文解读] IMRAM: Iterative Matching with Recurrent Attention Memory for Cross-Modal Image-Text Retrieval

Hui Chen, Guiguang Ding+4 more|arXiv (Cornell University)|Mar 8, 2020

Multimodal Machine Learning Applications参考文献 24被引用 29

一句话总结

本文提出IMRAM，一种新颖的迭代匹配框架，结合循环注意力记忆机制用于跨模态图像-文本检索，通过多轮基于注意力的匹配步骤与记忆蒸馏单元，逐步优化跨模态对齐。在Flickr8K、Flickr30K、MS COCO以及一个真实世界广告数据集（KWAI-AD）上的实验表明，IMRAM实现了最先进性能，展现出在捕捉图像与文本之间复杂、分层语义对应关系方面的卓越有效性。

ABSTRACT

Enabling bi-directional retrieval of images and texts is important for understanding the correspondence between vision and language. Existing methods leverage the attention mechanism to explore such correspondence in a fine-grained manner. However, most of them consider all semantics equally and thus align them uniformly, regardless of their diverse complexities. In fact, semantics are diverse (i.e. involving different kinds of semantic concepts), and humans usually follow a latent structure to combine them into understandable languages. It may be difficult to optimally capture such sophisticated correspondences in existing methods. In this paper, to address such a deficiency, we propose an Iterative Matching with Recurrent Attention Memory (IMRAM) method, in which correspondences between images and texts are captured with multiple steps of alignments. Specifically, we introduce an iterative matching scheme to explore such fine-grained correspondence progressively. A memory distillation unit is used to refine alignment knowledge from early steps to later ones. Experiment results on three benchmark datasets, i.e. Flickr8K, Flickr30K, and MS COCO, show that our IMRAM achieves state-of-the-art performance, well demonstrating its effectiveness. Experiments on a practical business advertisement dataset, named \Ads{}, further validates the applicability of our method in practical scenarios.

研究动机与目标

• 为解决现有方法将所有语义概念一视同仁的局限，忽略其在图像-文本对应中的分层与多样性特征。
• 建模语义的渐进理解过程——从低层次概念（如物体）到高层次概念（如属性、关系）——以模拟人类视觉-语言推理过程。
• 通过在多轮迭代匹配步骤中精炼注意力知识，提升细粒度的跨模态对齐能力。
• 在标准基准之外的实用、真实世界场景中，验证方法的有效性与泛化能力。

提出的方法

• 该方法采用迭代匹配机制，通过多轮跨模态注意力计算，逐步优化图像区域与文本词之间的对齐。
• 循环注意力记忆单元动态聚合并精炼早期匹配步骤中的对齐知识，以提升后期注意力聚焦能力。
• 记忆蒸馏单元使用可学习聚合函数（公式7）整合前序步骤的特征，增强模型捕捉复杂语义关系的能力。
• 模型在每轮迭代中使用多头交叉注意力机制，计算图像与文本片段之间的匹配得分。
• 注意力机制在迭代过程中持续更新，使模型能跨步骤逐步优化对相关图像-文本片段对的关注。
• 采用残差式聚合机制整合来自不同匹配步骤的特征，消融实验证实其优于add、mlp、att与gate等替代方案。

实验结果

研究问题

• RQ1 与单步注意力机制相比，跨模态注意力的迭代精炼是否能提升对细粒度图像-文本对应关系的建模能力？
• RQ2 不同语义类型（如名词、动词、形容词）在多轮匹配迭代中对检索性能的贡献如何？
• RQ3 记忆蒸馏单元在连续匹配步骤中对对齐知识的增强程度如何？
• RQ4 所提方法在如商业广告配对等真实世界、实际应用场景中是否具备良好泛化能力？
• RQ5 模型的注意力分布如何随迭代过程演变？其演化是否与人类类比推理在语义匹配中的一致？

主要发现

• 在MS COCO数据集上，Text-IMRAM（K=3）在文本检索任务中达到68.8% R@1与96.0% R@10，优于所有消融变体，创下新SOTA记录。
• 在Flickr30K数据集上，所提出的记忆聚合函数（公式7）实现68.8% R@1与96.0% R@10，显著优于baseline聚合函数（如add、mlp、att、gate）。
• 统计分析显示，名词在第一轮匹配中占主导地位（99.0%显著），而动词与形容词在后续轮次中显著性逐步提升（第3轮时动词达40.2%，形容词达39.1%），表明语义理解具有渐进性。
• 在新收集的KWAI-AD数据集上，Full-IMRAM在文本检索中实现10.2% R@1与27.7% R@10，分别优于SOTA模型SCAN 3.0%与5.2%，展现出强大的真实世界适用性。
• 定性注意力可视化结果表明，模型在多轮迭代中逐步聚焦于匹配的区域与词语，注意力图随时间推移变得更加精确与局部化。
• 消融研究证实，迭代匹配与记忆蒸馏组件均不可或缺，移除任一模块均导致性能显著下降。