[论文解读] Jo-SRC: A Contrastive Approach for Combating Noisy Labels

Yazhou Yao, Zeren Sun+5 more|arXiv (Cornell University)|Mar 24, 2021

Machine Learning and Data Classification参考文献 53被引用 6

一句话总结

Jo-SRC 提出了一种基于对比学习的方法，通过联合使用 Jensen-Shannon 散度在全局范围内选择干净样本，并利用双视角预测的一致性来区分分布内（ID）和分布外（OOD）的噪声样本，以应对深度神经网络中的噪声标签问题。该方法采用联合损失函数结合一致性正则化，在 CIFAR80N-O 上实现了最先进性能（测试准确率达 65.83%），并在高噪声比率下表现出更优的样本选择精度。

ABSTRACT

Due to the memorization effect in Deep Neural Networks (DNNs), training with noisy labels usually results in inferior model performance. Existing state-of-the-art methods primarily adopt a sample selection strategy, which selects small-loss samples for subsequent training. However, prior literature tends to perform sample selection within each mini-batch, neglecting the imbalance of noise ratios in different mini-batches. Moreover, valuable knowledge within high-loss samples is wasted. To this end, we propose a noise-robust approach named Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency). Specifically, we train the network in a contrastive learning manner. Predictions from two different views of each sample are used to estimate its "likelihood" of being clean or out-of-distribution. Furthermore, we propose a joint loss to advance the model generalization performance by introducing consistency regularization. Extensive experiments have validated the superiority of our approach over existing state-of-the-art methods.

研究动机与目标

• 为解决深度神经网络中因噪声标签导致的性能下降问题，尤其是在小批量中噪声比率变化且不均衡的情况下。
• 克服现有基于小损失的样本选择方法的局限性，这些方法假设每个小批量内的噪声率均匀，并舍弃高损失样本。
• 通过重标定和一致性正则化，不仅利用干净样本，还利用分布内和分布外噪声样本，以提升模型泛化能力。
• 开发一种鲁棒的、全局感知的样本选择策略，利用对比预测和散度度量来区分干净样本、ID 噪声样本和 OOD 噪声样本。

提出的方法

• Jo-SRC 使用每个输入图像的两种不同视图，通过主干网络生成双预测，实现对比学习以提升表示学习效果。
• 通过计算预测概率分布与真实标签分布之间的 Jensen-Shannon (JS) 散度，估计样本为干净样本的可能性。
• 利用两个视图之间的预测不一致程度来评估样本是否可能为 OOD，从而实现 OOD 噪声样本与 ID 样本的分离。
• 干净样本使用标准交叉熵损失进行训练，而 ID 和 OOD 噪声样本则在反向传播前通过均值教师模型进行重标定。
• 联合损失函数结合了交叉熵损失和一致性正则化项，以增强模型的泛化能力和鲁棒性。
• 样本选择在整个数据集范围内全局执行，而非在每个小批量内进行，从而减少因噪声比率波动带来的偏差。

实验结果

研究问题

• RQ1 与基于小批量的样本选择相比，对比学习框架是否能在小批量间噪声比率变化且不均衡的情况下提升干净样本选择效果？
• RQ2 使用 JS 散度和预测一致性来区分干净样本与 ID 及 OOD 噪声样本的效果如何？
• RQ3 通过均值教师模型对 ID 和 OOD 噪声样本进行重标定，是否能在不使模型过度拟合噪声标签的前提下提升泛化能力？
• RQ4 当与对干净样本和重标定噪声样本的选择性训练结合时，一致性正则化对模型性能的贡献是什么？
• RQ5 Jo-SRC 是否在封闭集和开放集噪声标签场景下，尤其是在高噪声比率下，均优于最先进方法？

主要发现

• 在 CIFAR80N-O 数据集上，Jo-SRC 在 20% 对称噪声设置下实现了 65.83% 的测试准确率，优于先前最先进方法。
• 在最具挑战性的设置（80% 对称噪声）下，Jo-SRC 在训练过程中保持了持续上升的干净样本选择精度，而其他方法则出现下降趋势。
• Jo-SRC 在所有噪声水平下均实现了最高的干净样本选择精度，尤其在 80% 噪声场景下表现最佳。
• 与其他对比方法相比，Jo-SRC 在噪声标签（包括 ID 和 OOD）上的预测准确率最低，表明其对噪声标签的记忆程度更低。
• 消融实验证实，干净样本选择对性能提升贡献最大，而 ID 和 OOD 样本的重标定以及一致性正则化进一步改善了泛化能力。
• Jo-SRC 在 ID 噪声样本上的真实标签预测准确率最高，表明其重标定和泛化能力有效。