[论文解读] A Semi-Supervised Two-Stage Approach to Learning from Noisy Labels

Yifan Ding, Liqiang Wang+2 more|arXiv (Cornell University)|Feb 8, 2018

Machine Learning and Data Classification参考文献 46被引用 10

一句话总结

本文提出了一种两阶段半监督框架，用于从噪声标签中训练深度神经网络，其中在第一阶段仅保留高置信度标签子集，并在第二阶段以半监督方式训练模型。该方法通过避免易出错的标签修正，转而忽略模糊标签以防止模型误导，从而在高噪声率下实现了最先进性能。

ABSTRACT

The recent success of deep neural networks is powered in part by large-scale well-labeled training data. However, it is a daunting task to laboriously annotate an ImageNet-like dateset. On the contrary, it is fairly convenient, fast, and cheap to collect training images from the Web along with their noisy labels. This signifies the need of alternative approaches to training deep neural networks using such noisy labels. Existing methods tackling this problem either try to identify and correct the wrong labels or reweigh the data terms in the loss function according to the inferred noisy rates. Both strategies inevitably incur errors for some of the data points. In this paper, we contend that it is actually better to ignore the labels of some of the data points than to keep them if the labels are incorrect, especially when the noisy rate is high. After all, the wrong labels could mislead a neural network to a bad local optimum. We suggest a two-stage framework for the learning from noisy labels. In the first stage, we identify a small portion of images from the noisy training set of which the labels are correct with a high probability. The noisy labels of the other images are ignored. In the second stage, we train a deep neural network in a semi-supervised manner. This framework effectively takes advantage of the whole training set and yet only a portion of its labels that are most likely correct. Experiments on three datasets verify the effectiveness of our approach especially when the noisy rate is high.

研究动机与目标

• 解决大规模训练数据中存在高质量但含噪声标签时训练深度神经网络的挑战。
• 通过避免常引入错误的标签修正，减少错误标签对模型的误导。
• 通过仅选择最可靠的标签，提升在高噪声环境下的泛化能力和准确性。
• 开发一种即使在缺乏噪声率或干净数据先验知识的情况下也能有效运行的框架。

提出的方法

• 在第一阶段，采用自修正方法按置信度对每个类别内的数据点进行排序；仅保留排名靠前的样本及其标签。
• 当存在干净数据时，为每个类别训练二分类器，以区分干净与噪声标签，用于选择。
• 当无干净数据时，在完整噪声数据集上训练多分类神经网络，以生成标签选择的置信度分数。
• 在第二阶段，使用时间集成方法在完整数据集上对深度神经网络进行半监督学习，仅使用所选的高置信度标签。
• 训练中采用平衡采样策略，确保每个小批量中包含相等数量的有标签和无标签样本。
• 该方法对噪声具有鲁棒性，且无需估计标签转移矩阵或噪声率。

实验结果

研究问题

• RQ1 在含噪声数据集中忽略模糊标签是否能比尝试修正它们带来更好的模型性能？
• RQ2 一种选择性使用高置信度标签的两阶段方法，与端到端的标签修正方法相比如何？
• RQ3 当仅一小部分标签可信时，半监督学习能否有效利用大规模噪声数据集？
• RQ4 所提出方法是否在高噪声率下优于现有最先进方法？

主要发现

• 在包含100万条噪声标签和5万张干净图像的Clothing1M数据集上，该方法在干净数据集上微调后达到79.38%的准确率，优于前向标签转移方法（69.84%）。
• 当从预训练ImageNet模型初始化时，该方法达到80.53%的准确率，超过最佳报告基线80.38%。
• 在Clothing1M上，该方法显著优于伪标签法（73.04%）、自下而上的训练方法（76.22%）和标签噪声建模方法（78.24%）。
• 该方法在高噪声率下表现出优越性能，证实避免标签修正可减少错误累积。
• 在干净数据集上微调进一步提升了性能，验证了人工标注的必要性以及高效噪声标签学习的价值。