[论文解读] A Novel Self-Supervised Re-labeling Approach for Training with Noisy Labels

Devraj Mandal, Shrisha Bharadwaj+1 more|arXiv (Cornell University)|Oct 13, 2019

Machine Learning and Data Classification参考文献 35被引用 4

一句话总结

本文提出 mCT-S2R，一种新颖的自监督重标注框架，通过先利用自监督学习提取鲁棒特征，再利用两个并行网络中损失较小的样本对损失较大的样本进行重标注，从而在高噪声水平下显著提升深度学习在 MNIST、CIFAR-10 和 CIFAR-100 上的性能，同时在重标注后仅使用单个网络进行训练，降低了计算成本。

ABSTRACT

The major driving force behind the immense success of deep learning models is the availability of large datasets along with their clean labels. Unfortunately, this is very difficult to obtain, which has motivated research on the training of deep models in the presence of label noise and ways to avoid over-fitting on the noisy labels. In this work, we build upon the seminal work in this area, Co-teaching and propose a simple, yet efficient approach termed mCT-S2R (modified co-teaching with self-supervision and re-labeling) for this task. First, to deal with significant amount of noise in the labels, we propose to use self-supervision to generate robust features without using any labels. Next, using a parallel network architecture, an estimate of the clean labeled portion of the data is obtained. Finally, using this data, a portion of the estimated noisy labeled portion is re-labeled, before resuming the network training with the augmented data. Extensive experiments on three standard datasets show the effectiveness of the proposed framework.

研究动机与目标

• 为解决在来自网络或众包的大规模数据集中训练标签存在噪声这一常见问题，提出一种训练深度神经网络的方法。
• 在不依赖噪声转移矩阵先验知识的前提下，提升模型泛化能力并减少对噪声标签的过拟合。
• 开发一种计算高效的训练方法，避免像 co-teaching 那样在整个训练过程中维持两个网络。
• 通过结合自监督预训练与基于小损失样本类均值的高损失样本动态重标注，提升模型鲁棒性。

提出的方法

• 使用自监督对比学习目标（例如实例判别）对网络进行预训练，以在不使用标签的情况下学习到鲁棒且对噪声不敏感的特征。
• 以类似 co-teaching 的方式训练两个并行网络，以识别损失较小的样本，这些样本被认为更可能被正确标注。
• 从损失较小样本的特征中计算类均值，作为重标注的参考原型。
• 根据样本与类原型的相似度对高损失样本进行重标注，使用置信度阈值（softmax 概率）仅选择最可靠的重标注样本。
• 在原始损失较小样本与重标注后的高损失样本基础上，使用单个网络恢复训练，从而提升泛化能力。
• 动态调整训练数据分布，采用丢弃率 R(T) = 1−ε·min(T/Tk, 1)，随着训练进行逐步聚焦于更清洁的数据。

实验结果

研究问题

• RQ1 自监督预训练能否提升图像分类任务中特征的鲁棒性，并减少对噪声标签的过拟合？
• RQ2 基于小损失样本提取的类均值对高损失样本进行重标注，能否在高噪声水平下提升模型准确率？
• RQ3 采用双网络 co-teaching 设置识别干净样本，随后进行单网络微调，是否能在保持性能的同时降低计算成本？
• RQ4 该方法对超参数（如置信度阈值 κ 和更新频率 T_update）的变化有多大的鲁棒性？
• RQ5 该框架能否在不同噪声模型（如对称噪声、pair-20%、pair-45%）和数据集（MNIST、CIFAR-10、CIFAR-100）上实现良好泛化？

主要发现

• 在 MNIST 数据集上，当对称噪声达到 50% 时，mCT-S2R 达到 98.86% 的测试准确率，优于基线模型，并在不同超参数设置下表现出高度一致性。
• 在 CIFAR-100 数据集上，当对称噪声为 50% 时，mCT-S2R 达到 60.49% 的准确率，显著优于相同噪声设置下的最先进方法。
• 该方法在不同置信度阈值（κ = 0.80, 0.90, 0.95）下均保持优异性能，表明对超参数选择具有强鲁棒性。
• 框架对选择哪个网络执行重标注不敏感，两网络之间的测试准确率差异小于 0.3%。
• 即使不知道真实噪声水平 ε，mCT-S2R 仍能保持稳定性能（例如，在 MNIST 上使用 45% 的 pair noise 时准确率达 94.72%），表明其具有良好的实际可用性。
• 该方法通过在重标注后切换为单网络训练，显著降低了计算成本，而 co-teaching 则需全程训练两个网络。