[论文解读] Improving Cross-Modal Retrieval with Set of Diverse Embeddings

Dong-Won Kim, Namyup Kim+1 more|arXiv (Cornell University)|Nov 30, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出了一种新颖的基于集合的嵌入框架，用于跨模态图像-文本检索，通过建模语义模糊性来提升性能。该方法引入了平滑-Chamfer相似度以缓解稀疏监督和集合坍缩等训练问题，并采用基于槽注意力的集合预测模块，生成解耦且语义上不同的嵌入，相较于先前方法在 COCO 和 Flickr30K 数据集上表现更优，且推理成本更低。

ABSTRACT

Cross-modal retrieval across image and text modalities is a challenging task due to its inherent ambiguity: An image often exhibits various situations, and a caption can be coupled with diverse images. Set-based embedding has been studied as a solution to this problem. It seeks to encode a sample into a set of different embedding vectors that capture different semantics of the sample. In this paper, we present a novel set-based embedding method, which is distinct from previous work in two aspects. First, we present a new similarity function called smooth-Chamfer similarity, which is designed to alleviate the side effects of existing similarity functions for set-based embedding. Second, we propose a novel set prediction module to produce a set of embedding vectors that effectively captures diverse semantics of input by the slot attention mechanism. Our method is evaluated on the COCO and Flickr30K datasets across different visual backbones, where it outperforms existing methods including ones that demand substantially larger computation at inference.

研究动机与目标

• 解决跨模态检索中固有的模糊性问题，即图像与字幕可能存在多种有效解释。
• 克服现有基于集合的嵌入方法的局限性，如由次优相似度函数引起的稀疏监督和集合坍缩问题。
• 设计一种基于竞争性注意力机制的集合预测模块，以生成解耦且多样化的嵌入。
• 通过预计算嵌入实现实现高效检索，同时通过改进语义模糊性的建模保持高精度。
• 在 COCO 和 Flickr30K 基准测试中实现最先进性能，且推理阶段无需高计算资源。

提出的方法

• 提出一种新颖的相似度函数——平滑-Chamfer相似度，其具有可微性且对集合排列具有鲁棒性，可减少稀疏监督和集合坍缩等副作用。
• 设计一种基于槽注意力的集合预测模块，其中可学习的元素槽通过迭代方式关注并聚合来自输入图像和文本的不同语义特征。
• 通过多轮聚合模块实现渐进式优化，以增强集合元素之间的解耦性并提升语义多样性。
• 使用基于平滑-Chamfer相似度的对比损失进行模型训练，以对齐匹配的图像-文本对，同时在嵌入集合中鼓励多样性。
• 将集合预测模块集成到双编码器架构中，实现图像与文本的独立编码，并输出基于集合的表示，以支持高效检索。
• 应用温度缩放与超参数调优（K, T, α），以优化集合基数、迭代次数及相似度敏感度。

Figure 1 : An example of the ambiguity problem introduced in the cross-modal retrieval task; an image region and a word corresponding to each other are highlighted in the same color. This example demonstrates that a single image can be coupled with multiple heterogeneous captions.

实验结果

研究问题

• RQ1 如何改进基于集合的嵌入相似度函数，以减少稀疏监督和集合坍缩等训练副作用？
• RQ2 基于槽注意力的集合预测模块是否能有效生成多样且解耦的嵌入，以捕捉图像或字幕的多个语义方面？
• RQ3 通过使用一组嵌入建模语义模糊性，相较于单嵌入基线方法，跨模态检索准确率能提升多少？
• RQ4 所提方法是否在保持低推理成本的同时，优于现有 SOTA 方法？
• RQ5 嵌入集合中的各个元素如何贡献于检索性能？其集体使用在性能中起到何种作用？

主要发现

• 在 Flickr30K 数据集上，所提方法的平均 Recall@1（RSUM）达到 500.8，较之前 SOTA 方法（PIE-Net）提升 17.5 分。
• 在 COCO 数据集上，模型的 RSUM 达到 499.6，较之前 SOTA 方法（PIE-Net）提升 16.3 分。
• 消融实验表明，仅使用嵌入集合中的一个元素会显著降低性能，其中使用第二个视觉槽时性能下降最严重（RSUM = 309.6），表明其在捕捉模糊语义中的关键作用。
• 该模型在不同视觉主干网络和超参数设置下均保持高性能，当 K > 3、T > 2 且 α > 4 时达到最优性能。
• 平滑-Chamfer 相似度函数有效减少了集合坍缩与稀疏监督问题，表现为嵌入集合方差更低，且性能提升稳定。
• 基于槽注意力的集合预测模块成功生成了多样且非冗余的嵌入，表现为在评估中联合使用所有元素时性能显著提升。

Figure 2 : An overview of our model. (a) The overall framework of our model. The model consists of three parts: visual feature extractor, textual feature extractor, and set-prediction modules $f^{\mathcal{V}}$ and $f^{\mathcal{T}}$ . First, the feature extractors of each modality extract local and g