[论文解读] InfoNCE: Identifying the Gap Between Theory and Practice

Evgenia Rusak, Patrik Reizinger+4 more|arXiv (Cornell University)|Jun 28, 2024

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文揭示了对比学习（CL）理论假设与现实实践之间的一个关键差距：数据增强导致潜在因子发生各向异性的变化，这与先前InfoNCE理论中的各向同性假设相悖。作者提出了AnInfoNCE，一种广义的对比损失，可证明在各向异性分布下识别潜在因子，实验证明其在CIFAR10和ImageNet上提升了对坍塌信息的恢复能力，但以牺牲下游准确率为代价。

ABSTRACT

Prior theory work on Contrastive Learning via the InfoNCE loss showed that, under certain assumptions, the learned representations recover the ground-truth latent factors. We argue that these theories overlook crucial aspects of how CL is deployed in practice. Specifically, they either assume equal variance across all latents or that certain latents are kept invariant. However, in practice, positive pairs are often generated using augmentations such as strong cropping to just a few pixels. Hence, a more realistic assumption is that all latent factors change with a continuum of variability across all factors. We introduce AnInfoNCE, a generalization of InfoNCE that can provably uncover the latent factors in this anisotropic setting, broadly generalizing previous identifiability results in CL. We validate our identifiability results in controlled experiments and show that AnInfoNCE increases the recovery of previously collapsed information in CIFAR10 and ImageNet, albeit at the cost of downstream accuracy. Finally, we discuss the remaining mismatches between theoretical assumptions and practical implementations.

研究动机与目标

• 识别InfoNCE理论中的假设与实际对比学习部署之间的不匹配，特别是关于数据增强下潜在因子变化的各向同性与各向异性问题。
• 提出一种理论基础坚实的对比损失AnInfoNCE，将其推广至处理潜在因子以不同程度变化的各向异性正样本分布。
• 在受控的合成数据和真实世界实验中验证AnInfoNCE的可识别性，展示其在CIFAR10和ImageNet上对坍塌信息的恢复能力。
• 探索并形式化硬负样本挖掘与损失集成的扩展，确保在更复杂的训练设置下保持理论可识别性。
• 分析可识别性与下游准确率之间的权衡，将其与增强引起的的信息损失联系起来。

提出的方法

• 提出AnInfoNCE作为InfoNCE的推广，通过在潜在变量上使用连续的各向异性分布，建模正样本对在不同潜在因子上变化程度不同的情况。
• 形式化AnInfoNCE在何种条件下可恢复真实潜在因子，即使某些因子在增强下高度不稳定。
• 提出一种硬负样本挖掘的理论框架，通过以与各向异性正样本假设一致的方式建模负样本分布，从而保持可识别性。
• 通过组合多个对潜在分布不同方面敏感的对比目标，将可识别性结果扩展至损失集成。
• 设计基于VAE的生成模型在MNIST上的受控实验，验证在已知数据生成过程下的理论可识别性。
• 将AnInfoNCE应用于真实世界数据集（CIFAR10、ImageNet），并使用线性探测和信息恢复度量评估潜在因子恢复能力。

Figure 1 : Illustration of the mismatch between the standard CL model and practice: A: CL with the commonly used InfoNCE objective is identifiable when all latents change to the same extent across the positive pair zimmermann_contrastive_2021 , which is unlikely to happen in practice. B: The more li

实验结果

研究问题

• RQ1 InfoNCE理论中潜在因子各向同性变化的假设，如何与对比学习中真实世界数据增强下的情况产生冲突？
• RQ2 当正样本对在不同因子上表现出各向异性变化时，像AnInfoNCE这样的广义对比损失能否可证明地识别潜在因子？
• RQ3 在使用AnInfoNCE时，潜在因子可识别性与下游线性探测准确率之间的权衡是什么？
• RQ4 如何形式化硬负样本挖掘，以在各向异性分布下保持可识别性？
• RQ5 损失集成能否在保持对不同增强策略鲁棒性的同时提升可识别性？

主要发现

• AnInfoNCE成功恢复了CIFAR10和ImageNet中先前坍塌的潜在信息，展示了在各向异性增强下更强的可识别性。
• 该方法在各向异性正样本对分布下实现了潜在因子的可证明识别，推广了先前的各向同性与分块可识别性结果。
• 在CIFAR10和ImageNet上，与标准InfoNCE相比，AnInfoNCE提高了对真实潜在因子的恢复能力，但以降低下游线性探测准确率为代价。
• 基于VAE的MNIST模型上的受控实验证实，当数据生成过程已知时，AnInfoNCE能够恢复真实生成因子。
• 可识别性与下游准确率之间的权衡与增强策略相关，特别是强裁剪操作会引发潜在变化的高各向异性。
• 对硬负样本挖掘和损失集成的扩展形式上得到证明，并在各向异性设置下保持了可识别性。