[论文解读] Cross Modal Retrieval with Querybank Normalisation

Simion-Vlad Bogolin, Ioana Croitoru+3 more|arXiv (Cornell University)|Dec 23, 2021

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出查询库归一化（Querybank Normalisation, QB-Norm），一种非参数化框架，通过使用查询库中的图像嵌入对查询-图库相似度进行重归一化，缓解了跨模态检索中的中心度问题。该方法引入了动态反向Softmax（Dynamic Inverted Softmax, DIS），实现更鲁棒的相似度归一化，并在无需微调或重新训练的情况下，在多种模型和基准上实现了最先进性能。

ABSTRACT

Profiting from large-scale training datasets, advances in neural architecture design and efficient inference, joint embeddings have become the dominant approach for tackling cross-modal retrieval. In this work we first show that, despite their effectiveness, state-of-the-art joint embeddings suffer significantly from the longstanding "hubness problem" in which a small number of gallery embeddings form the nearest neighbours of many queries. Drawing inspiration from the NLP literature, we formulate a simple but effective framework called Querybank Normalisation (QB-Norm) that re-normalises query similarities to account for hubs in the embedding space. QB-Norm improves retrieval performance without requiring retraining. Differently from prior work, we show that QB-Norm works effectively without concurrent access to any test set queries. Within the QB-Norm framework, we also propose a novel similarity normalisation method, the Dynamic Inverted Softmax, that is significantly more robust than existing approaches. We showcase QB-Norm across a range of cross modal retrieval models and benchmarks where it consistently enhances strong baselines beyond the state of the art. Code is available at https://vladbogo.github.io/QB-Norm/.

研究动机与目标

• 解决在用于跨模态检索的高维联合嵌入中持续存在的中心度问题。
• 开发一种无需模型微调或重新训练即可提升性能的检索框架。
• 在推理阶段实现有效的中心度缓解，而无需同时访问多个测试查询。
• 设计一种对查询库选择不敏感的鲁棒相似度归一化方法。
• 在多种模型、模态和基准上实现泛化能力。

提出的方法

• QB-Norm 使用来自图库嵌入的查询库，在推理阶段对查询与图库样本之间的相似度分数进行重归一化，以降低中心节点的影响。
• 查询库在推理期间从图库嵌入中构建，实现无需重新训练的中心度校正。
• 引入动态反向Softmax（DIS）作为新颖的归一化机制，根据中心频率自适应调整相似度分数。
• DIS 使用反温度参数控制软化的程度，β=20时性能最优。
• 该框架在推理后应用，因此可与任何预训练的跨模态嵌入模型兼容。
• QB-Norm 仅基于相似度分数运行，无需架构修改或额外训练。

Figure 1 : Left: The hubness problem. We consider the problem of cross modal retrieval in which queries $q_{1}$ and $q_{2}$ are compared against a gallery of samples, $x_{1}$ and $x_{2}$ . As we show in Sec. 3.2 , the high-dimensional joint embeddings employed by modern methods for cross-modal retri

实验结果

研究问题

• RQ1 在现代跨模态检索系统中，是否可以在不重新训练的情况下有效缓解中心度问题？
• RQ2 当推理时仅有一个测试查询可用时，QB-Norm 是否依然有效？
• RQ3 能否设计一种对查询库选择鲁棒的相似度归一化方法，并在多种模型上提升检索性能？
• RQ4 QB-Norm 与现有中心度缓解技术相比，在性能和鲁棒性方面表现如何？
• RQ5 QB-Norm 是否能在不同模态和检索基准上实现泛化？

主要发现

• 在MSR-VTT v2t检索任务中，QB-Norm将TT-CE+模型的R@1绝对提升5.9%，从24.6%提高到30.1%。
• 在同一基准上，R@5从54.1%提升至61.4%，R@10从67.5%提升至73.2%。
• 该方法在文本到视频、文本到图像以及音频到文本检索任务中均一致提升了检索性能。
• 随着查询库增大，性能趋于饱和，表明超过一定规模后收益递减。
• 动态反向Softmax（DIS）优于先前的归一化方法，且对查询库选择具有鲁棒性，避免了在某些查询库上性能下降。
• 即使推理时仅有一个查询可用，QB-Norm 仍保持有效性，而以往方法需依赖多个查询。

Figure 2 : Hubness is pervasive in leading methods for text-video retrieval . The charts depict the distribution of the number of times each gallery video was retrieved by test set queries (x-axes video ids are ordered by decreasing retrieval count). Top row (different models): We report retrieval d