[论文解读] Investigating the Role of Negatives in Contrastive Representation Learning

Jordan T. Ash, Surbhi Goel+2 more|arXiv (Cornell University)|Jun 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 31被引用 11

一句话总结

本文研究了对比表示学习中负样本数量的作用，提出了一种类理论上的碰撞-覆盖权衡，表明最优负样本数量应与底层数据概念的规模成比例。实证结果表明，在自然语言处理任务中，中等数量的负样本表现最佳，而视觉任务则表现出不一致的敏感性，凸显了表示学习中理论与实践之间的差距。

ABSTRACT

Noise contrastive learning is a popular technique for unsupervised representation learning. In this approach, a representation is obtained via reduction to supervised learning, where given a notion of semantic similarity, the learner tries to distinguish a similar (positive) example from a collection of random (negative) examples. The success of modern contrastive learning pipelines relies on many parameters such as the choice of data augmentation, the number of negative examples, and the batch size; however, there is limited understanding as to how these parameters interact and affect downstream performance. We focus on disambiguating the role of one of these parameters: the number of negative examples. Theoretically, we show the existence of a collision-coverage trade-off suggesting that the optimal number of negative examples should scale with the number of underlying concepts in the data. Empirically, we scrutinize the role of the number of negatives in both NLP and vision tasks. In the NLP task, we find that the results broadly agree with our theory, while our vision experiments are murkier with performance sometimes even being insensitive to the number of negatives. We discuss plausible explanations for this behavior and suggest future directions to better align theory and practice.

研究动机与目标

• 将对比学习中负样本数量的影响与批量大小等混淆因素分离开来。
• 通过改进的误差传递界，理论分析负样本数量如何影响表示质量。
• 在自然语言处理与视觉基准上，实证评估负样本数量对下游性能的影响。
• 识别理论预测与实证结果之间的差异，特别是在视觉任务中。
• 通过使理论与实际性能对齐，为未来对比学习系统的设计提供建议。

提出的方法

• 理论分析基于Saunshi等人（2019）的改进误差传递定理，将NCE误差与下游分类误差关联起来。
• 该框架将语义相似性建模为离散类别，从而分析负采样如何影响覆盖度与碰撞风险。
• 实证评估采用线性探测设置，在Wiki-3029（自然语言处理）和CIFAR-10/SVHN（视觉）数据集上进行，批量大小固定，负样本数量可变。
• 对于自然语言处理任务，实验使用词袋模型且不进行数据增强；对于视觉任务，使用ResNet-18并对比有无数据增强的设置。
• 性能通过多次随机种子下的平均值和训练线性分类器准确率进行衡量，以确保统计可靠性。
• 所有运行的超参数保持一致，自然语言处理任务中批量大小固定为1000，视觉任务训练400个周期，以隔离k的影响。

实验结果

研究问题

• RQ1 负样本数量在对比学习中如何影响表示质量？
• RQ2 理论上的碰撞-覆盖权衡在真实世界的自然语言处理与视觉基准中是否成立？
• RQ3 为何视觉任务对负样本数量的敏感性与自然语言处理任务不一致？
• RQ4 在改变负样本数量时，批量大小在多大程度上混淆了对比学习的性能表现？
• RQ5 误差传递的理论界在多大程度上能预测实际中最佳的负采样策略？

主要发现

• 在Wiki-3029上的自然语言处理实验中，k的中间值（如k=50）获得最高的下游准确率，支持理论上的碰撞-覆盖权衡。
• 在批量大小B=1000固定的情况下，所有N类（N=50至3029）中最佳性能均在k=50时达到，最佳与最差k值之间的性能差距可达约3%。
• 在视觉任务中，SVHN与CIFAR-10的性能通常对k的变化不敏感，即使应用了数据增强，表明负样本数量对表示质量的影响有限。
• 视觉数据集上训练线性分类器的性能表现出一致趋势：大批量大小与中等k值组合效果最佳，尽管k的影响程度弱于自然语言处理任务。
• 在应用数据增强的SVHN上，平均分类器性能显著低于训练分类器结果，可能由于数据增强策略不匹配所致。
• 各次运行的标准差始终较低（≤0.28），表明趋势可靠，性能差异中的噪声较小。