[论文解读] Improved Probabilistic Image-Text Representations

Sanghyuk Chun|arXiv (Cornell University)|May 29, 2023

Image Retrieval and Classification Techniques被引用 6

一句话总结

该论文提出PCME++，一种改进的图像-文本匹配框架，通过使用闭式概率距离替代蒙特卡洛近似，实现高效且精确的推理。通过引入伪正例和混合样本数据增强，PCME++缓解了在大量负样本情况下的损失饱和问题，在MS-COCO、CxC和ECCV Caption基准上达到最先进性能，对噪声标注具有强鲁棒性，并可应用于零样本提示微调。

ABSTRACT

Image-Text Matching (ITM) task, a fundamental vision-language (VL) task, suffers from the inherent ambiguity arising from multiplicity and imperfect annotations. Deterministic functions are not sufficiently powerful to capture ambiguity, prompting the exploration of probabilistic embeddings to tackle the challenge. However, the existing probabilistic ITM approach encounters two key shortcomings; the burden of heavy computations due to the Monte Carlo approximation, and the loss saturation issue in the face of abundant false negatives. To overcome the issues, this paper presents an improved Probabilistic Cross-Modal Embeddings (named PCME++) by introducing a new probabilistic distance with a closed-form solution. In addition, two optimization techniques are proposed to enhance PCME++ further: first, the incorporation of pseudo-positives to prevent the negative effect under massive false negatives; second, mixed sample data augmentation for probabilistic matching. Experimental results on MS-COCO Caption and two extended benchmarks, CxC and ECCV Caption, demonstrate the effectiveness of PCME++ compared to state-of-the-art ITM methods. The robustness of PCME++ is also evaluated under noisy image-text correspondences. In addition, the potential applicability of PCME++ in automatic prompt-filtering for zero-shot classification is shown. The code is available at https://github.com/naver-ai/pcmepp

研究动机与目标

• 解决MS-COCO等数据集中因多对多对应关系和稀疏标注导致的图像-文本匹配内在模糊性。
• 克服现有概率ITM方法（如PCME）依赖蒙特卡洛采样所导致的计算效率低下和损失饱和问题。
• 开发一种可扩展、可微的概率距离闭式解，实现高效推理，并支持与近似最近邻搜索的集成。
• 通过引入伪正例和混合样本数据增强，提升在噪声或不完整监督下的模型泛化能力。
• 展示不确定性感知表征在下游任务（如零样本分类的自动提示微调）中的实用性。

提出的方法

• 提出一种闭式采样距离（CSD），可解析计算两个正态分布之间的期望L2距离，从而消除对蒙特卡洛采样的依赖。
• 提出基于CSD的新目标函数，支持端到端训练，实现精确梯度反传并降低计算成本。
• 引入伪正例以缓解真实数据集中因大量负样本导致的梯度饱和问题。
• 应用混合样本数据增强（MSDA），生成多样化且真实的训练样本，以提升概率匹配的鲁棒性。
• 通过利用闭式距离，将概率嵌入空间适配为支持FAISS的高效近似最近邻（ANN）检索。
• 利用学习到的分布的不确定性估计，指导零样本分类中的提示选择，实现可控的检索。

实验结果

研究问题

• RQ1 与蒙特卡洛近似相比，概率距离的闭式解是否能提升图像-文本匹配的效率和准确性？
• RQ2 在存在海量负样本的情况下，引入伪正例在概率ITM中如何缓解损失饱和问题？
• RQ3 混合样本数据增强在多大程度上提升了概率图像-文本表征的泛化能力？
• RQ4 PCME++中的不确定性感知表征能否在零样本分类的自动提示微调中被有效利用？
• RQ5 与确定性方法及现有概率基线相比，PCME++对噪声或不完整图像-文本标注的鲁棒性如何？

主要发现

• PCME++在MS-COCO Caption基准上达到最先进性能，相较于SOTA方法持续取得提升，尤其在主干网络规模增大时（如ViT-L/14）表现更优。
• 在扩展的CxC和ECCV Caption基准上，PCME++优于现有方法，展现出在多样化数据分布下的强大泛化能力。
• 该模型对噪声图像-文本对应关系具有强鲁棒性，在真实标签被污染或不完整时仍能保持高性能。
• 闭式距离支持高效推理，并可与FAISS集成，使PCME++在大规模检索任务中具备可扩展性。
• PCME++的不确定性估计具有高度可解释性，支持用户驱动的低置信度预测拒绝，实现可控检索。
• PCME++实现了有效的自动提示微调，用于零样本图像分类，性能超越InfoNCE和VSE++等强基线模型，在ImageNet上表现更优。