[论文解读] Deep Self-Learning From Noisy Labels

Jiangfan Han, Ping Luo+1 more|arXiv (Cornell University)|Aug 6, 2019

Machine Learning and Data Classification参考文献 37被引用 15

一句话总结

本文提出自学习多原型（Self-Learning with Multi-Prototypes, SMP），一种新颖的迭代式深度自学习框架，可在无需额外监督或对标签噪声分布做假设的情况下，对真实噪声数据集进行卷积神经网络训练。通过使用多个类别原型来校正噪声标签，并联合使用原始标签与校正后标签进行训练，SMP 在 Clothing1M 和 Food101-N 等基准数据集上实现了最先进性能，准确率相比之前方法最高提升 1.16%。

ABSTRACT

ConvNets achieve good results when training from clean data, but learning from noisy labels significantly degrades performances and remains challenging. Unlike previous works constrained by many conditions, making them infeasible to real noisy cases, this work presents a novel deep self-learning framework to train a robust network on the real noisy datasets without extra supervision. The proposed approach has several appealing benefits. (1) Different from most existing work, it does not rely on any assumption on the distribution of the noisy labels, making it robust to real noises. (2) It does not need extra clean supervision or accessorial network to help training. (3) A self-learning framework is proposed to train the network in an iterative end-to-end manner, which is effective and efficient. Extensive experiments in challenging benchmarks such as Clothing1M and Food101-N show that our approach outperforms its counterparts in all empirical settings.

研究动机与目标

• 解决在因人为错误或网络爬取来源导致标签不可靠的真实世界噪声数据集上训练深度网络的挑战。
• 消除对额外干净监督或辅助网络的依赖，这些方法在大规模应用中成本高且不切实际。
• 开发一种自学习框架，可迭代校正噪声标签，且无需假设特定的噪声分布。
• 探究每个类别使用多个原型是否相比单原型方法能提升表征学习与标签校正效果。
• 在无需额外监督的情况下，实现在 Clothing1M 和 Food101-N 等真实噪声基准数据集上的最先进性能。

提出的方法

• 该框架采用单一共享的 ConvNet，以端到端方式迭代地完成特征提取与标签校正。
• 在每次迭代中，模型通过将样本特征与通过聚类选出的多个类别原型进行比较，生成校正后的标签。
• 类别原型通过一种新颖的聚类方法选取，该方法能从每个噪声类别中识别出具有代表性的样本。
• 模型通过联合使用原始噪声标签与校正后标签进行训练，采用加权损失函数，其中 α=0.5 时性能最优。
• 标签校正过程通过不完全替换所有噪声标签来避免过拟合，从而保留原始标签中的有用信息。
• 该方法对聚类算法的选择具有鲁棒性，K-means++、密度峰值聚类及所提方法在性能上均保持一致，差异不超过 0.3%。

实验结果

研究问题

• RQ1 自学习框架是否能在无需额外监督的情况下，有效校正真实世界数据集中的噪声标签？
• RQ2 与单个原型相比，每个类别使用多个原型是否能提升标签校正效果与模型泛化能力？
• RQ3 该框架对用于计算类别原型的样本数量是否敏感？
• RQ4 联合训练原始标签与校正后标签是否优于完全替换噪声标签？
• RQ5 该框架是否能在 Clothing1M 和 Food101-N 等真实噪声基准数据集上实现最先进性能？

主要发现

• 在 Clothing1M 上，SMP 仅使用每类 2% 的训练样本（共 2560 个，总计 128,000 个）计算原型，即达到 74.45% 的测试准确率，优于之前方法。
• 在额外获得 25,000 个验证标签后，SMP 准确率提升至 76.44%，展现出强大的泛化能力与可扩展性。
• 该方法对聚类算法选择具有鲁棒性，K-means++、密度峰值聚类及所提方法的性能差异在 0.3% 以内。
• 相比 CleanNet 等单原型方法，使用多个原型显著提升了标签校正效果与模型准确率。
• 在 Food101-N 上，SMP 达到 85.11% 的准确率，相比 CleanNet（使用软加权时为 83.95%）高出 1.16%。
• 联合训练原始标签与校正后标签（α=0.5）性能最佳，证实原始标签仍保留有用的归纳偏置。