[论文解读] Iterative Learning with Open-set Noisy Labels

Yisen Wang, Weiyang Liu+5 more|arXiv (Cornell University)|Mar 31, 2018

Machine Learning and Data Classification参考文献 34被引用 32

一句话总结

本文提出一种迭代学习框架，用于在存在开放集噪声标签的数据集上鲁棒地训练深度卷积神经网络（CNN）——即被错误标注的样本其真实类别不在已知的训练类别中。通过结合迭代噪声标签检测、基于对比学习的孪生网络进行特征学习，以及损失加权重加权模块，该方法在CIFAR-10、ImageNet和真实网络搜索数据集上均优于当前最先进模型，在包含20%开放集噪声的ImageNet上实现了71.43%的Top-1准确率。

ABSTRACT

Large-scale datasets possessing clean label annotations are crucial for training Convolutional Neural Networks (CNNs). However, labeling large-scale data can be very costly and error-prone, and even high-quality datasets are likely to contain noisy (incorrect) labels. Existing works usually employ a closed-set assumption, whereby the samples associated with noisy labels possess a true class contained within the set of known classes in the training data. However, such an assumption is too restrictive for many applications, since samples associated with noisy labels might in fact possess a true class that is not present in the training data. We refer to this more complex scenario as the extbf{open-set noisy label} problem and show that it is nontrivial in order to make accurate predictions. To address this problem, we propose a novel iterative learning framework for training CNNs on datasets with open-set noisy labels. Our approach detects noisy labels and learns deep discriminative features in an iterative fashion. To benefit from the noisy label detection, we design a Siamese network to encourage clean labels and noisy labels to be dissimilar. A reweighting module is also applied to simultaneously emphasize the learning from clean labels and reduce the effect caused by noisy labels. Experiments on CIFAR-10, ImageNet and real-world noisy (web-search) datasets demonstrate that our proposed model can robustly train CNNs in the presence of a high proportion of open-set as well as closed-set noisy labels.

研究动机与目标

• 为解决在真实类别不包含于训练集中的噪声标签（即开放集噪声标签）场景下训练深度神经网络的挑战，该场景在以往研究中被忽视。
• 开发一种不依赖于噪声分布或结构假设的方法，从而在真实世界数据采集场景中实现鲁棒学习。
• 通过联合优化检测、特征学习和损失重加权，提升在开放集和闭集噪声标签并存情况下的表示学习能力和分类准确率。
• 在大规模基准数据集（CIFAR-10、ImageNet）和真实世界网络搜索噪声数据集上验证有效性，其中清洁标签不可用。

提出的方法

• 一种迭代框架在噪声标签检测、通过孪生网络与对比损失学习判别性特征（以在表征空间中分离干净与噪声样本）以及基于预测置信度对软max损失进行重加权之间交替进行。
• 孪生网络强制使干净样本与噪声样本的表征相互远离，从而在无需真实标签信息的情况下增强特征的可分性。
• 重加权模块为预测为干净的样本分配更高的学习权重，为被标记为噪声的样本分配更低的权重，从而在优化过程中降低错误标签的影响。
• 噪声标签检测通过迭代方式进行，随着模型学习到更优的表征，检测准确率逐步提升。
• 该框架端到端训练，无需对噪声率或模式做任何先验假设，适用于具有复杂噪声结构的真实世界数据。
• 该方法在合成噪声（闭集与开放集）和真实世界网络搜索数据上均进行了评估，采用标准基准和特征迁移评估方式。

实验结果

研究问题

• RQ1 深度学习框架能否有效检测并缓解开放集噪声标签的影响，即错误标注样本的真实类别不在已知训练类别中？
• RQ2 通过迭代优化噪声标签检测、特征学习与损失重加权，能否提升在复杂标签噪声下的模型泛化能力？
• RQ3 所提出方法在标准基准数据集上是否在开放集与闭集噪声标签设置下均优于现有最先进方法？
• RQ4 该模型在真实世界噪声数据（如网络搜索图像中存在模糊或错误标签）中，能在多大程度上学习到鲁棒的表征？

主要发现

• 在包含20%开放集噪声的200类ImageNet数据集上，使用Inception-v3模型，所提方法实现了71.43%的Top-1准确率，显著优于第二名方法（CNN-CRF的67.23%）。
• 在相同基准上，ResNet-50模型达到70.29%的Top-1准确率，超过次优基线方法（CNN-CRF的66.54%）。
• 在无清洁测试集的真实世界网络搜索数据上，通过微调线性分类器，该模型在CIFAR-100上实现了67.90%的Top-1准确率，优于所有基线方法（包括CNN-CRF的63.94%）。
• 该模型展现出强大的泛化能力，在闭集噪声标签场景下也达到或超过最先进方法的性能，表明其具有广泛适用性。
• 消融实验证实，三个核心组件——噪声标签检测、孪生对比学习与重加权——均对性能提升有显著贡献。