[论文解读] Do More Negative Samples Necessarily Hurt in Contrastive Learning?

Pranjal Awasthi, Nishanth Dikkala+1 more|arXiv (Cornell University)|May 3, 2022

Geophysical Methods and Applications被引用 10

一句话总结

本文挑战了广泛持有的观点，即在对比学习中增加负样本会因‘碰撞-覆盖’权衡而损害下游性能。通过使用潜在类别理论框架，证明了在人口NCE最优表示下，随着负样本数量增加，性能不会下降，并在CIFAR-10和CIFAR-100上通过实证验证了这一点，即使$ k $增加，性能也未下降。关键洞见是，最优表示对$ k $保持鲁棒性，这与未考虑NCE损失最小化器的先前上界相矛盾。

ABSTRACT

Recent investigations in noise contrastive estimation suggest, both empirically as well as theoretically, that while having more "negative samples" in the contrastive loss improves downstream classification performance initially, beyond a threshold, it hurts downstream performance due to a "collision-coverage" trade-off. But is such a phenomenon inherent in contrastive learning? We show in a simple theoretical setting, where positive pairs are generated by sampling from the underlying latent class (introduced by Saunshi et al. (ICML 2019)), that the downstream performance of the representation optimizing the (population) contrastive loss in fact does not degrade with the number of negative samples. Along the way, we give a structural characterization of the optimal representation in our framework, for noise contrastive estimation. We also provide empirical support for our theoretical results on CIFAR-10 and CIFAR-100 datasets.

研究动机与目标

• 调查在对比学习中增加负样本数量是否必然导致下游性能下降。
• 分析在潜在类别模型下NCE最优表示的行为，其中正样本对来自同一潜在类别。
• 通过研究人口NCE损失的最小化器，挑战现有观点，即‘碰撞-覆盖’权衡限制了更多负样本下的性能。
• 提供理论与实证证据，表明NCE最优表示的下游性能不会因$ k $增加而下降。
• 阐明先前关于监督损失上界分析的局限性，这些分析未考虑表示的NCE最优性。

提出的方法

• 使用具有每对正样本$ k $个负样本的人口级NCE损失形式化对比学习。
• 引入一个潜在类别模型，其中正样本对来自同一类别，负样本从边缘分布独立同分布抽取。
• 在该模型下推导NCE最优表示的结构表征，表明其在$ k $增加时保持稳定。
• 在温和假设（包括类别均匀分布）下证明，NCE最优表示的下游监督损失不会随$ k $增加而上升。
• 在CIFAR-10和CIFAR-100上实证评估NCE最优表示，确认其在$ k $增加时性能稳定。
• 与先前上界（如Bao et al.，Nozawa & Sato）进行比较，表明其上界不适用于NCE优化表示，因此不意味着性能下降。

实验结果

研究问题

• RQ1 在对比学习中增加负样本数量是否必然导致NCE最优表示的下游性能下降？
• RQ2 ‘碰撞-覆盖’权衡是否足以解释实践中性能的非单调性，还是其仅为次优表示的产物？
• RQ3 即使$ k $增长，NCE最优表示的下游损失能否独立于$ k $进行有界？
• RQ4 关于NCE损失的监督损失上界与NCE优化表示的真实行为之间有何关系？
• RQ5 在非均匀类别分布下，NCE最优表示是否仍保持稳定，还是均匀性对结果至关重要？

主要发现

• 在类别均匀分布假设下，NCE最优表示的下游监督损失不会随负样本数量$ k $增加而上升。
• 理论分析表明，NCE最优表示在$ k $增加时保持一致性能，与先前关于性能必然下降的断言相矛盾。
• 在CIFAR-10和CIFAR-100上的实证结果表明，随着$ k $增加，下游准确率未下降，支持了最优表示的理论稳定性。
• 本文表明，先前关于监督损失的上界（如Ash et al.，Saunshi et al.）不适用于NCE优化表示，因此不意味着性能下降。
• 研究揭示，NCE损失尺度随$ k $增长，但这不影响最优表示的下游性能，其保持有界且稳定。
• 该工作表明，‘碰撞-覆盖’权衡并非最优表示的固有特性，该现象可能源于次优优化而非根本限制。