[论文解读] A Comprehensive Empirical Study of Vision-Language Pre-trained Model for Supervised Cross-Modal Retrieval

Zhixiong Zeng, Wenji Mao|arXiv (Cornell University)|Jan 8, 2022

Multimodal Machine Learning Applications被引用 9

一句话总结

本文提出 CLIP4CMR，一种新颖的框架，通过微调 CLIP 视觉-语言预训练模型，实现监督跨模态检索（CMR）。通过利用 CLIP 强大的多模态表征能力，CLIP4CMR 在多个基准测试中达到最先进性能，并展现出对模态不平衡的优越鲁棒性以及对超参数选择的低敏感性，验证了 CLIP 在监督检索任务中的强大泛化能力。

ABSTRACT

Cross-Modal Retrieval (CMR) is an important research topic across multimodal computing and information retrieval, which takes one type of data as the query to retrieve relevant data of another type. It has been widely used in many real-world applications. Recently, the vision-language pre-trained models represented by CLIP demonstrate its superiority in learning the visual and textual representations and gain impressive performance on various vision and language related tasks. Although CLIP as well as the previous pre-trained models have shown great performance improvement in the unsupervised CMR, the performance and impact of these pre-trained models on the supervised CMR were rarely explored due to the lack of common representation for the multimodal class-level associations. In this paper, we take CLIP as the current representative vision-language pre-trained model to conduct a comprehensive empirical study. We evaluate its performance and impact on the supervised CMR, and attempt to answer several key research questions. To this end, we first propose a novel model CLIP4CMR (CLIP enhanced network for Cross-Modal Retrieval) that employs the pre-trained CLIP as backbone network to perform the supervised CMR. Then by means of the CLIP4CMR framework, we revisit the design of different learning objectives in current CMR methods to provide new insights on model design. Moreover, we investigate the most concerned aspects in applying CMR, including the robustness to modality imbalance and sensitivity to hyper-parameters, to provide new perspectives for practical applications. Through extensive experiments, we show that CLIP4CMR achieves the SOTA results with prominent improvements on the benchmark datasets, and can be used as a fundamental framework to empirically study the key research issues of the supervised CMR, with significant implications for model design and practical considerations.

研究动机与目标

• 探究视觉-语言预训练模型（尤其是 CLIP）在监督跨模态检索（CMR）中的性能与影响。
• 解决由于架构和训练协议多样性，导致在 CMR 中缺乏统一框架对学习目标进行公平比较的问题。
• 评估预训练模型在实际 CMR 应用中对模态不平衡的鲁棒性以及对超参数的敏感性。
• 建立 CLIP4CMR 作为未来监督 CMR 研究的强而基于实证的基线。

提出的方法

• CLIP4CMR 使用 CLIP 模型作为冻结的视觉和文本编码器，从图像和文本中提取高层特征。
• 采用模态特定的多层感知机（MLP）将 CLIP 特征映射到共享的、公共表征空间，以支持跨模态检索。
• 框架整合多种学习目标，包括对比损失和原型对比损失，以增强语义对齐和类别级判别能力。
• 采用统一的训练协议，确保不同损失函数和模型变体之间的公平比较。
• 对公共表征空间的维度 $d$ 和原型对比损失中的缩放因子 $\lambda$ 进行超参数分析。
• 在四个基准数据集（Wikipedia、NUS-WIDE、Pascal-Sentence 和 XmediaNet）上进行评估，以 mAP 为主要指标。

实验结果

研究问题

• RQ1 CLIP 是否能显著提升监督跨模态检索的性能？其性能提升的内在原因是什么？
• RQ2 在统一框架下评估不同学习目标时，其表现如何？这些结果为模型设计提供了哪些洞见？
• RQ3 CLIP4CMR 对模态不平衡的鲁棒性如何？在大规模平衡数据上进行预训练是否能缓解此问题？
• RQ4 CLIP4CMR 对关键超参数（如公共表征空间的维度和原型对比损失中的缩放因子）的敏感性如何？

主要发现

• 在所有四个基准数据集上，CLIP4CMR 均达到最先进性能，当 $d=1024$ 时，mAP 分数分别为：Wikipedia 上 0.585，Pascal-Sentence 上 0.695，NUS-WIDE 上 0.615，XmediaNet 上 0.752。
• 即使在极端模态不平衡条件下（如 100% 图像 + 10% 文本），模型仍保持强大性能，其鲁棒性优于基线方法和数据增强方法。
• 当公共表征维度 $d$ 降低至 64 时，性能仅轻微下降，表明对维度变化具有低敏感性。
• 原型对比损失的最优缩放因子 $\lambda$ 为 1，当 $\lambda=10$ 时性能显著下降，原因在于数值不稳定性。
• 在 $d=1024$ 时，CLIP4CMR 达到最佳平均 mAP，即使在 $d=64$ 时也仅有轻微退化，表明其在紧凑表征中具有强大泛化能力。
• 当任一模态被完全移除时（如 100%I+0%T），模型性能出现显著下降，凸显双模态学习的重要性。