[论文解读] Conditional Negative Sampling for Contrastive Learning of Visual Representations

Mike Wu, Milan Mosse+3 more|arXiv (Cornell University)|May 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用 12

一句话总结

本文提出了一种条件化负采样方法用于对比学习，其中负样本被半-hard地围绕每个正样本进行选择，以改进互信息估计。通过将负采样条件化于正样本，该方法降低了方差并提升了性能，在线性评估和迁移学习设置下，多个模型和基准测试中均实现了2–5%的绝对准确率提升。

ABSTRACT

Recent methods for learning unsupervised visual representations, dubbed contrastive learning, optimize the noise-contrastive estimation (NCE) bound on mutual information between two transformations of an image. NCE typically uses randomly sampled negative examples to normalize the objective, but this may often include many uninformative examples either because they are too easy or too hard to discriminate. Taking inspiration from metric learning, we show that choosing semi-hard negatives can yield stronger contrastive representations. To do this, we introduce a family of mutual information estimators that sample negatives conditionally -- in a ringaround each positive. We prove that these estimators remain lower-bounds of mutual information, with higher bias but lower variance than NCE. Experimentally, we find our approach, applied on top of existing models (IR, CMC, and MoCo) improves accuracy by 2-5% absolute points in each case, measured by linear evaluation on four standard image benchmarks. Moreover, we find continued benefits when transferring features to a variety of new image distributions from the Meta-Dataset collection and to a variety of downstream tasks such as object detection, instance segmentation, and key-point detection.

研究动机与目标

• 为解决对比学习中随机负采样效率低下的问题，后者常包含过于简单或过于困难而难以区分的无信息样本。
• 通过引入一种基于正样本的条件化采样策略，聚焦于半-hard负样本，以改进对比学习中的互信息估计。
• 在保持互信息估计的理论下界性质的同时，相比标准NCE，显著降低方差。
• 通过实证验证，条件化负采样可提升多种模型和下游任务的表征质量。

提出的方法

• 提出了一类基于特征相似度、在每个正样本周围环形采样负样本的互信息估计器家族。
• 采用一种条件化采样机制，优先选择与正样本既不太相似也不太不同的负样本，即半-hard负样本。
• 证明了所提出的估计器仍保持互信息的理论下界，具有更高的偏差但方差显著降低，相比标准NCE。
• 将该方法作为即插即用的增强模块，应用于现有的对比学习框架，如InfoMin、CMC和MoCo。
• 在训练过程中采用温度缩放的对比损失，结合条件化采样，以提升特征判别能力。
• 利用环形采样策略，根据优化过程中当前的特征分布动态调整负样本采样。

实验结果

研究问题

• RQ1 与随机负采样相比，聚焦于半-hard样本的条件化负采样是否能提升对比视觉表征的质量？
• RQ2 所提出的条件化采样方法是否在降低方差的同时，仍保持互信息估计的理论下界性质？
• RQ3 在不同对比学习框架（如IR、CMC、MoCo）下，该方法在线性评估中的性能提升程度如何？
• RQ4 当将特征迁移到新的图像分布和多样化下游任务时，该方法的泛化能力如何？

主要发现

• 将所提出的条件化负采样方法应用于现有模型时，在四个标准图像基准上，线性评估准确率提升了2–5%绝对点。
• 该方法在保持互信息估计下界性质的同时降低了方差，从而实现了更稳定和高效的训练。
• 性能增益在多种对比学习框架中保持一致，包括InfoMin（IR）、CMC和MoCo，表明其具有广泛的适用性。
• 在Meta-Dataset数据集上的迁移性能进一步提升，表明其对新图像分布具有强大的泛化能力。
• 该方法在多种下游任务中均表现出一致的性能提升，包括目标检测、实例分割和关键点检测。