[论文解读] CAMP: Cross-Modal Adaptive Message Passing for Text-Image Retrieval

Zihao Wang, Xihui Liu+5 more|arXiv (Cornell University)|Sep 12, 2019

Multimodal Machine Learning Applications参考文献 36被引用 31

一句话总结

CAMP 提出了一种用于文本-图像检索的跨模态自适应消息传递框架，通过跨模态注意力和自适应门控机制建模图像与文本之间的细粒度交互。通过将模态特定特征与上下文感知消息融合，并使用最难负样本二值交叉熵损失，CAMP 在 COCO 和 Flickr30k 上实现了最先进性能，优于以往的联合嵌入方法。

ABSTRACT

Text-image cross-modal retrieval is a challenging task in the field of language and vision. Most previous approaches independently embed images and sentences into a joint embedding space and compare their similarities. However, previous approaches rarely explore the interactions between images and sentences before calculating similarities in the joint space. Intuitively, when matching between images and sentences, human beings would alternatively attend to regions in images and words in sentences, and select the most salient information considering the interaction between both modalities. In this paper, we propose Cross-modal Adaptive Message Passing (CAMP), which adaptively controls the information flow for message passing across modalities. Our approach not only takes comprehensive and fine-grained cross-modal interactions into account, but also properly handles negative pairs and irrelevant information with an adaptive gating scheme. Moreover, instead of conventional joint embedding approaches for text-image matching, we infer the matching score based on the fused features, and propose a hardest negative binary cross-entropy loss for training. Results on COCO and Flickr30k significantly surpass state-of-the-art methods, demonstrating the effectiveness of our approach.

研究动机与目标

• 为解决先前方法独立嵌入图像与文本而未建模跨模态交互的局限性。
• 通过允许图像区域与词语之间交替注意力，实现细粒度的、交互式的跨模态推理。
• 通过自适应门控机制在跨模态消息传递过程中抑制无关或不匹配的信息。
• 通过从融合特征中学习匹配分数而非依赖联合嵌入空间中的距离，提升匹配准确性。
• 设计一种训练目标，强调难负样本以提升泛化能力。

提出的方法

• CAMP 采用跨模态消息聚合模块，利用交叉注意力机制将显著信息从图像区域传递到词语，反之亦然。
• 引入跨模态门控融合模块，通过软门控自适应控制融合强度，在模态对齐较低时保留原始特征。
• 自适应门机制可学习抑制不匹配或无关特征的融合，尤其在负样本对中表现显著。
• 使用基于注意力的机制聚合融合特征，生成全局图像与句子表示。
• 通过多层感知机（MLP）对融合特征预测匹配分数，替代传统联合嵌入空间中的余弦相似度。
• 模型采用最难负样本二值交叉熵损失进行训练，以强调困难负样本并提升判别能力。

实验结果

研究问题

• RQ1 跨模态之间的自适应消息传递能否提升文本-图像检索中的细粒度对齐？
• RQ2 在跨模态交互过程中，如何抑制无关或不匹配的特征？
• RQ3 从融合特征中学习匹配分数是否优于在联合嵌入空间中计算相似度？
• RQ4 与排序损失相比，最难负样本二值交叉熵损失能否提升检索性能？
• RQ5 在处理负样本对时，自适应门控是否比固定融合策略更有效？

主要发现

• CAMP 在 COCO 和 Flickr30k 基准测试中均达到最先进性能，显著优于以往方法。
• 消融实验表明，移除自适应门控或残差连接会导致性能显著下降，验证了其必要性。
• 正样本对的平均门控值为 0.971，而负样本对的门控值几乎为零（2.7087×10⁻⁹），证实了对不匹配特征的有效抑制。
• 将基于注意力的特征聚合替换为平均池化会降低性能，表明上下文感知聚合的重要性。
• 使用简单 MLP 搭配最难负样本 BCE 损失的方案优于联合嵌入配合余弦相似度以及排序损失，证明了所提训练方案的有效性。
• 通过利用跨模态交互，模型能够成功识别细微不匹配——如错误的对象描述——如定性示例所示。