[论文解读] Contrastive Learning with Hard Negative Samples

Joshua Robinson, Ching-Yao Chuang+2 more|arXiv (Cornell University)|Oct 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用 37

一句话总结

引入一种可调的无监督硬负样本采样方法用于对比学习，强调与锚点嵌入相近的负样本，零额外开销并带有理论保证。

ABSTRACT

How can you sample good negative examples for contrastive learning? We argue that, as with metric learning, contrastive learning of representations benefits from hard negative samples (i.e., points that are difficult to distinguish from an anchor point). The key challenge toward using hard negatives is that contrastive methods must remain unsupervised, making it infeasible to adopt existing negative sampling strategies that use true similarity information. In response, we develop a new family of unsupervised sampling methods for selecting hard negative samples where the user can control the hardness. A limiting case of this sampling results in a representation that tightly clusters each class, and pushes different classes as far apart as possible. The proposed method improves downstream performance across multiple modalities, requires only few additional lines of code to implement, and introduces no computational overhead.

研究动机与目标

• 推动在对比表示学习中使用硬负样本以提升性能。
• 开发一种无监督、可调的硬负样本采样分布，不依赖真实相似性标签。
• 提供一个高效的基于重要性采样的训练目标，在不增加额外计算的情况下重新加权负样本。
• 在硬负样本条件下理论刻画最优嵌入，并将其与超球面的球堆积相关联。
• 在图像、图形和文本模态上实证展示下游表现的提升。

提出的方法

• 提出一个负采样分布 q_beta^-，使采样偏向与锚点当前相似度较高的负样本：q_beta^-(x^-) ∝ e^{β f(x)^T f(x^-)} p(x^-)，条件为 h(x) ≠ h(x^-)。
• 改写 q_beta，使其能够通过 PU-learning 分解与重要性采样实现实际采样，而不改变数据抽样或增加开销。
• 推导一个偏向难度的目标，使用对 E_{x^- ~ q_beta}[e^{f(x)^T f(x^-)}] 和 E_{v ~ q_beta^+}[e^{f(x)^T f(v)}] 的蒙特卡洛估计，分区函数分别为 Z_beta 和 Z_beta^+。
• 表明 β 控制难度，且 β → ∞ 对应于与超球体上的球堆积公式相关的最差负分布。
• 给出在硬负样本条件下最优嵌入的理论结果及其对泛化和简单的 1-NN 分类器的影响。

实验结果

研究问题

• RQ1 在缺乏真实相似性标签的情况下，无监督对比学习能否从硬负样本中获益？
• RQ2 应如何设计负样本的采样分布，使其强调信息丰富、接近锚点的负样本，同时不增加计算成本？
• RQ3 在硬负样本采样下学习到的表示的理论特性是什么，它们与聚类以及超球体上的球堆积有何关系？
• RQ4 所提出的方法是否在图像、图形和文本模态上带来提升的下游性能？

主要发现

数据集	SimCLR	去偏	硬（β=1）
tinyImageNet	53.4%	53.7%	57.0%

• 在多个基线下，硬负样本采样提升了图像、图形和文本数据的下游任务性能。
• 提出的 q_beta^-，当 β>0 时，使负样本偏向于当前与锚点相似的样本，同时通过 PU-learning 分解在大致上维持原则1（不同标签）。
• 增大 β 会在去偏和对抗性硬负样本之间产生一个光谱，β=1 或 β=2 常常优于基线，退火 β 提高鲁棒性。
• 在无穷负样本极限下，最优嵌入解为球面上的球堆积问题，将类别代表尽可能分开放置。
• 经验结果在 STL10、CIFAR100、tinyImageNet 及各种图和句子基准上显示显著提升；使用硬负样本训练速度也更快（例如 STL10 60 个 epoch vs SimCLR 的 400）。
• 硬负样本结合去偏在所测试的配置中，在 STL10 上产生最佳线性读出性能。