[论文解读] Image-text Retrieval: A Survey on Recent Research and Development

Min Cao, Shiping Li+3 more|arXiv (Cornell University)|Mar 28, 2022

Advanced Image and Video Retrieval Techniques被引用 8

一句话总结

本综述提供了图像-文本检索（ITR）研究的全面、最新概述，将方法分为四个视角：特征提取、特征对齐、系统效率和跨模态预训练。它强调了预训练范式带来的变革性影响，显著提升了检索准确率，并指出了未来研究的关键挑战：数据噪声、缺乏常识知识以及对资源高效范式的需求。

ABSTRACT

In the past few years, cross-modal image-text retrieval (ITR) has experienced increased interest in the research community due to its excellent research value and broad real-world application. It is designed for the scenarios where the queries are from one modality and the retrieval galleries from another modality. This paper presents a comprehensive and up-to-date survey on the ITR approaches from four perspectives. By dissecting an ITR system into two processes: feature extraction and feature alignment, we summarize the recent advance of the ITR approaches from these two perspectives. On top of this, the efficiency-focused study on the ITR system is introduced as the third perspective. To keep pace with the times, we also provide a pioneering overview of the cross-modal pre-training ITR approaches as the fourth perspective. Finally, we outline the common benchmark datasets and valuation metric for ITR, and conduct the accuracy comparison among the representative ITR approaches. Some critical yet less studied issues are discussed at the end of the paper.

研究动机与目标

• 提供图像-文本检索（ITR）方法的系统性、最新综述，重点关注超越通用多模态综述的近期进展。
• 通过强调跨模态预训练在现代ITR系统中的主导作用，弥补现有综述的不足。
• 通过四个不同视角分析并分类ITR方法：特征提取、特征对齐、系统效率和预训练范式。
• 使用标准基准和指标评估与比较最先进ITR模型，突出性能趋势。
• 识别尚未充分探索的问题，如数据噪声、常识知识整合的缺失，以及对高效、少样本ITR范式的需求。

提出的方法

• 沿四个维度对ITR方法进行分类：(1) 通过视觉语义嵌入、交叉注意力或自适应方法进行特征提取；(2) 通过全局或局部对齐机制实现特征对齐；(3) 通过哈希、模型压缩或先快速后精细的检索实现系统效率优化；(4) 以模型架构、预训练任务和数据作为分类标准的预训练。
• 分析特征提取技术，包括独立学习（VSE）、交互注意力（如ViLBERT、CLIP）以及自适应特征学习。
• 研究特征对齐策略，区分全局对齐（如对比损失）与细粒度局部对齐（如标记级别的交叉注意力）。
• 回顾效率优化的ITR系统，包括用于紧凑表示的二值哈希、用于轻量化部署的模型蒸馏，以及分层检索流水线。
• 根据架构（如ViT-BERT）、预训练任务（如对比预训练）和数据规模（如COCO、Conceptual Captions）对基于预训练的ITR方法进行分类。
• 使用R@1、R@5和R@10等指标，在标准基准（如COCO、Flickr30k）上比较代表性ITR模型，展示2017年至2021年间的性能演变。

实验结果

研究问题

• RQ1 ITR中的特征提取技术如何演变？视觉语义嵌入、交叉注意力和自适应方法的优势与局限性是什么？
• RQ2 全局与局部特征对齐策略的关键差异是什么？它们如何影响检索准确率？
• RQ3 在真实世界ITR部署中，哪些效率策略（哈希、压缩、先快速后精细）最有效？它们在准确率与速度之间如何权衡？
• RQ4 跨模态预训练在多大程度上提升了ITR性能？预训练架构、任务和数据规模如何影响结果？
• RQ5 ITR中仍存在哪些关键挑战？例如数据噪声、缺乏常识知识整合，以及对低资源微调范式的需求？

主要发现

• 跨模态预训练的引入，尤其是大规模数据集和对比目标的结合，使ITR性能实现显著飞跃，2020年后R@1值大幅提升。
• 基于预训练的ITR模型（如CLIP及其变体）通过利用海量图像-文本对学习到的丰富多模态表征，显著优于传统ITR方法。
• 与全局对齐相比，以标记级别对齐特征的局部对齐机制在复杂或模糊的图像-文本配对中持续提升检索准确率。
• 效率导向的方法（如哈希和模型压缩）可实现实时部署，但通常以牺牲准确率为代价，凸显了实际系统中准确率与速度之间的关键权衡。
• 尽管取得进展，COCO Captions等基准数据集仍存在语义模糊和噪声标注问题——例如模糊的描述或多个合理可能的图像-文本对应关系——限制了性能评估的可靠性。
• 未来ITR发展应聚焦于整合外部知识（如常识推理），并设计资源高效的范式（如提示调优），以减少对大规模微调数据的依赖。