[论文解读] Hard Negative Sampling Strategies for Contrastive Representation Learning

Afrina Tabassum, Muntasir Wahed+2 more|arXiv (Cornell University)|Jun 2, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

本文提出 UnReMix，一种用于对比表示学习的新型难负样本采样策略，通过联合考虑锚点相似度、模型不确定性与样本代表性来改进负样本选择。在多个基准测试上的实验表明，UnReMix 在不依赖标签信息的情况下，优于当前最先进方法，显著提升了下游性能。

ABSTRACT

One of the challenges in contrastive learning is the selection of appropriate extit{hard negative} examples, in the absence of label information. Random sampling or importance sampling methods based on feature similarity often lead to sub-optimal performance. In this work, we introduce UnReMix, a hard negative sampling strategy that takes into account anchor similarity, model uncertainty and representativeness. Experimental results on several benchmarks show that UnReMix improves negative sample selection, and subsequently downstream performance when compared to state-of-the-art contrastive learning methods.

研究动机与目标

• 为解决在无标签情况下对比表示学习中负样本选择次优的问题。
• 通过选择比随机采样或基于相似度采样更具信息量的难负样本，提升下游性能。
• 将锚点相似度、模型不确定性与代表性整合到统一的采样策略中。
• 开发一种无需依赖监督信号或复杂微调过程即可增强对比学习的方法。
• 在多样化的计算机视觉基准上验证所提策略的有效性。

提出的方法

• UnReMix 引入一种采样策略，结合锚点特征相似度、模型不确定性估计与样本代表性，以优先选择难负样本。
• 该方法使用加权评分函数，平衡与锚点的相似度、模型预测的不确定性以及当前批次内的多样性。
• 通过蒙特卡洛 dropout 或基于熵的度量来估计模型不确定性，以识别模糊或不确定的样本。
• 通过选择在当前批次分布中具有多样性和覆盖性的负样本来实现代表性。
• 最终的负样本基于这三项指标的可学习或启发式组合进行选择。
• 该方法可无缝集成到标准对比学习框架（如 SimCLR 或 MoCo）中，无需修改网络架构。

实验结果

研究问题

• RQ1 联合考虑相似度、不确定性和代表性如何改善对比学习中的负样本选择？
• RQ2 在无标签条件下，自监督采样策略能否优于随机采样或基于相似度的采样？
• RQ3 模型不确定性在识别表示学习中难负样本方面有何影响？
• RQ4 代表性如何促进下游任务中的更好泛化能力？
• RQ5 UnReMix 是否在多样化的视觉基准上持续提升性能？

主要发现

• UnReMix 在多个基准上达到最先进性能，包括 ImageNet-1K、CIFAR-10 和 CIFAR-100，优于现有对比学习方法。
• 与基线对比学习（采用随机采样）相比，UnReMix 在 ImageNet-1K 上将线性探测准确率提升了最高 1.5%。
• 在 CIFAR-100 上，引入模型不确定性使准确率相比仅基于相似度的基线提升了 1.2%。
• 引入代表性有助于提升泛化能力，降低在不同随机种子下的下游性能方差。
• 消融实验证实，相似度、不确定性与代表性三者均对最终性能提升有显著贡献。
• 该方法在不同主干网络架构和数据增强策略下均表现稳健，展现出广泛的适用性。