[论文解读] Contrastive Learning Improves Model Robustness Under Label Noise

Aritra Ghosh, Andrew Lan|arXiv (Cornell University)|Apr 19, 2021

Machine Learning and Data Classification参考文献 28被引用 10

一句话总结

该论文表明，通过对比学习（如 SimCLR）的表示进行初始化，可显著提升监督鲁棒学习方法在图像分类任务中高标签噪声下的模型性能。令人惊讶的是，即使使用标准的交叉熵训练，当采用 SimCLR 预训练时，在 90% 对称标签噪声下，其性能仍比最先进的半监督方法 DivideMix 高出 50% 以上。

ABSTRACT

Deep neural network-based classifiers trained with the categorical cross-entropy (CCE) loss are sensitive to label noise in the training data. One common type of method that can mitigate the impact of label noise can be viewed as supervised robust methods; one can simply replace the CCE loss with a loss that is robust to label noise, or re-weight training samples and down-weight those with higher loss values. Recently, another type of method using semi-supervised learning (SSL) has been proposed, which augments these supervised robust methods to exploit (possibly) noisy samples more effectively. Although supervised robust methods perform well across different data types, they have been shown to be inferior to the SSL methods on image classification tasks under label noise. Therefore, it remains to be seen that whether these supervised robust methods can also perform well if they can utilize the unlabeled samples more effectively. In this paper, we show that by initializing supervised robust methods using representations learned through contrastive learning leads to significantly improved performance under label noise. Surprisingly, even the simplest method (training a classifier with the CCE loss) can outperform the state-of-the-art SSL method by more than 50\% under high label noise when initialized with contrastive learning. Our implementation will be publicly available at {\url{https://github.com/arghosh/noisy_label_pretrain}}.

研究动机与目标

• 探究通过表示预训练利用未标记数据，是否能提升监督鲁棒学习方法在标签噪声下的性能。
• 评估对比学习表示是否可作为强归纳偏置，提升在高标签噪声下的泛化能力。
• 确定通过表示预训练，是否能弥合监督鲁棒方法与当前最先进的半监督学习（SSL）方法在标签噪声下的性能差距。
• 通过将表示学习与噪声鲁棒训练解耦，建立学习在标签噪声下的新基线。
• 分析不同预训练策略（SimCLR 与 ImageNet）在对称和非对称标签噪声下对模型鲁棒性的影响。

提出的方法

• 在包含噪声标签的完整训练集上，使用对比学习（SimCLR）预训练特征编码器，以学习鲁棒表示。
• 使用与相同噪声数据集上的标准监督学习（交叉熵损失 CCE）微调分类器头，输入为 SimCLR 学习到的特征。
• 在 SimCLR 特征之上应用已知的鲁棒损失函数（如 $L_q$ 损失，$q=0.66$，MAE）和加权机制（如 MWNet），以评估鲁棒性。
• 在预训练期间使用与 SimCLR 一致的数据增强策略，以确保对比目标的有效性。
• 在对称和非对称标签噪声设置下，于多个数据集（CIFAR-10、CIFAR-100、Clothing1M）上比较性能。
• 通过测量测试准确率并比较其相对于干净训练准确率的性能下降，评估泛化能力。

实验结果

研究问题

• RQ1 使用对比学习进行预训练，是否能显著提升标准监督学习方法在高标签噪声下的鲁棒性？
• RQ2 SimCLR 表示预训练是否能使即使是最简单的 CCE 训练方法也超越在标签噪声下最先进的半监督学习方法？
• RQ3 当使用 SimCLR 特征初始化而非随机初始化时，鲁棒损失函数（如 $L_q$、MAE）和加权方法（如 MWNet）的性能如何变化？
• RQ4 在类别重叠有限的情况下，SimCLR 预训练与 ImageNet 预训练相比，在标签噪声下的鲁棒性表现如何？
• RQ5 表示质量在多大程度上解释了监督鲁棒方法在图像数据集上标签噪声下表现不佳的原因？

主要发现

• 在 90% 对称标签噪声下，使用 SimCLR 初始化的 CCE 损失在 CIFAR-10 上达到 82.9% 准确率，在 CIFAR-100 上达到 52.11%，分别比 DivideMix（93.2% 和 31.5%）高出 9% 和 65% 的绝对准确率提升。
• 在 SimCLR 预训练的基础上，$L_q$ 损失和 MWNet 方法在高噪声下显著优于当前最先进的 DivideMix 方法，尤其在随机初始化无法学习有用表示时表现更优。
• 在 Clothing1M 数据集上，CCE 使用 SimCLR 初始化相比 ImageNet 预训练将测试准确率提升了 6%，尽管 ImageNet 与 Clothing1M 的类别重叠极低。
• SimCLR 初始化在减少相对于干净训练的性能下降方面，比 ImageNet 预训练更有效，尤其在对称噪声下。
• 在 INet32（ImageNet 的子集）上进行预训练，结合 SimCLR 可使 CIFAR-100 准确率达到 81.51%，但仅使用 SimCLR 预训练即可实现更优的鲁棒性，无需大规模预训练。
• 监督鲁棒方法与 SSL 方法在标签噪声下的性能差距，主要源于表示质量差，而非损失函数本身的固有限制。