[论文解读] Boosting Contrastive Self-Supervised Learning with False Negative Cancellation

Tri Huynh, Simon Kornblith+3 more|arXiv (Cornell University)|Nov 23, 2020

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

该论文提出了一种虚假负样本消除（False Negative Cancellation, FNC）方法，通过识别并缓解来自同一语义类别的负样本对（即虚假负样本）来提升对比自监督学习的效果。采用一种简单且无需标签的方法，在 ImageNet 上以约 40% 的准确率检测虚假负样本，FNC 应用消除与吸引两种策略，在 1% 监督设置下相比先前最先进方法实现了 5.8% 的绝对 top-1 准确率提升，且计算开销可忽略不计。

ABSTRACT

Self-supervised representation learning has made significant leaps fueled by progress in contrastive learning, which seeks to learn transformations that embed positive input pairs nearby, while pushing negative pairs far apart. While positive pairs can be generated reliably (e.g., as different views of the same image), it is difficult to accurately establish negative pairs, defined as samples from different images regardless of their semantic content or visual features. A fundamental problem in contrastive learning is mitigating the effects of false negatives. Contrasting false negatives induces two critical issues in representation learning: discarding semantic information and slow convergence. In this paper, we propose novel approaches to identify false negatives, as well as two strategies to mitigate their effect, i.e. false negative elimination and attraction, while systematically performing rigorous evaluations to study this problem in detail. Our method exhibits consistent improvements over existing contrastive learning-based methods. Without labels, we identify false negatives with 40% accuracy among 1000 semantic classes on ImageNet, and achieve 5.8% absolute improvement in top-1 accuracy over the previous state-of-the-art when finetuning with 1% labels. Our code is available at https://github.com/google-research/fnc.

研究动机与目标

• 为解决对比自监督学习中的根本性问题：来自同一语义类别的负样本对会阻碍表示学习。
• 开发一种无需依赖语义标注的无标签方法，用于在对比学习中识别虚假负样本。
• 提出并评估两种策略——虚假负样本消除与吸引——以缓解虚假负样本对对比目标的负面影响。
• 在多个基准测试中展示一致的性能提升，包括线性评估、半监督学习以及下游迁移任务。

提出的方法

• 提出一种基于分数的方法，利用锚样本与候选样本之间的特征相似度来识别潜在的虚假负样本，且无需使用标签。
• 采用最大聚合策略为每个负样本计算置信度分数，从而过滤掉极有可能为虚假负样本的样本。
• 引入两种缓解策略：(1) 虚假负样本消除，即从对比损失中移除有问题的负样本；(2) 虚假负样吸引，即主动将此类样本对拉近。
• 使用基于阈值的过滤机制（阈值 = 0.7）和 top-k 选择（k=10）来聚焦于高置信度的虚假负样本。
• 将 FNC 机制集成到标准对比框架（如 SimCLR v2 和 MoCo v2）中，计算开销极低。
• 采用三层 MLP 投影头和标准数据增强方法（裁剪、颜色抖动、模糊、RandAugment），使用 LARS 优化器和余弦退火学习率衰减策略。

实验结果

研究问题

• RQ1 在无标签或类别信息的情况下，能否在对比自监督学习中准确识别虚假负样本？
• RQ2 虚假负样本对对比学习的收敛速度和表示质量有何影响？
• RQ3 虚假负样本消除策略（包括消除与吸引）是否能在多种评估协议中提升性能？
• RQ4 FNC 策略与现有技术（如多裁剪训练和动量对比）如何相互作用？
• RQ5 在低数据场景下（如 ImageNet 上仅使用 1% 标注数据），FNC 能在多大程度上提升性能？

主要发现

• 该方法在无标签条件下，对 ImageNet 的 1,000 个类别中约 40% 的虚假负样本实现了准确识别，证明了在自监督设置下检测虚假负样本的可行性。
• 在线性评估中，模型在 ImageNet 上达到 74.4% 的 top-1 准确率，相比 SimCLR v2 提升 2.7%，相比此前对比方法的 SOTA 提升 1.4%。
• 在仅使用 1% 标注数据的半监督设置下，模型达到 63.7% 的 top-1 准确率，相比先前 SOTA 实现了 5.8% 的绝对性能提升。
• 当与多裁剪增强结合时，FNC 方法效果尤为显著，其准确率提升幅度（4%）是基线多裁剪方法的两倍，且额外计算成本可忽略不计。
• 在 12 个下游分类数据集上，FNC 模型在除一个数据集外的所有线性评估任务中均优于 SimCLR v1 和 v2，在微调设置下表现与 BYOL 相当或更优。
• 在 Pascal VOC 目标检测任务中，FNC 模型优于 MoCo v2、SwAV，甚至超越了监督基线，充分展示了所学特征的强大迁移能力。