[论文解读] CurriculumNet: Weakly Supervised Learning from Large-Scale Web Images

Sheng Guo, Weilin Huang+5 more|arXiv (Cornell University)|Aug 3, 2018

Machine Learning and Data Classification参考文献 27被引用 21

一句话总结

CurriculumNet 提出了一种课程学习策略，通过在特征空间分布密度上对数据复杂度进行排序，实现对大规模网络图像中带有噪声标签的深度卷积神经网络（CNN）的训练。该方法实现了最先进性能，在 WebVision 数据集上将 top-5 错误率降低至 5.2%，相比之前方法实现了超过 50% 的相对错误率降低。

ABSTRACT

We present a simple yet efficient approach capable of training deep neural networks on large-scale weakly-supervised web images, which are crawled raw from the Internet by using text queries, without any human annotation. We develop a principled learning strategy by leveraging curriculum learning, with the goal of handling a massive amount of noisy labels and data imbalance effectively. We design a new learning curriculum by measuring the complexity of data using its distribution density in a feature space, and rank the complexity in an unsupervised manner. This allows for an efficient implementation of curriculum learning on large-scale web images, resulting in a high-performance CNN model, where the negative impact of noisy labels is reduced substantially. Importantly, we show by experiments that those images with highly noisy labels can surprisingly improve the generalization capability of the model, by serving as a manner of regularization. Our approaches obtain state-of-the-art performance on four benchmarks: WebVision, ImageNet, Clothing-1M and Food-101. With an ensemble of multiple models, we achieved a top-5 error rate of 5.2% on the WebVision challenge for 1000-category classification. This result was the top performance by a wide margin, outperforming second place by a nearly 50% relative error rate. Code and models are available at: https://github.com/MalongTech/CurriculumNet .

研究动机与目标

• 为解决在大规模、弱监督的网络图像上训练深度 CNN 所面临的挑战，这些图像包含大量噪声标签。
• 通过利用课程学习，提升模型泛化能力与性能，而无需人工标注。
• 探究高度噪声的标签是否能够增强而非降低模型能力。
• 开发一种针对大规模噪声网络数据量身定制的高效无监督课程学习策略。
• 在多个基准数据集（包括 WebVision、ImageNet、Clothing-1M 和 Food-101）上实现最先进性能。

提出的方法

• 该方法提出了一种新颖的课程学习策略，通过在特征空间中测量的分布密度来对训练样本的复杂度进行排序。
• 复杂度通过基于聚类的密度估计以无监督方式计算，以识别从简单到复杂的样本。
• 训练按课程顺序进行，从低复杂度（高密度）样本开始，逐步引入更复杂的样本。
• 该方法无需噪声清洗或模型重训练；它直接将噪声数据作为学习过程的一部分。
• 使用标准 CNN 架构（如 Inception-v2）从头开始训练模型，结合基于课程的数据排序。
• 应用集成学习进一步提升性能，尤其在 WebVision 挑战中表现显著。

实验结果

研究问题

• RQ1 课程学习策略能否有效处理大规模网络图像数据集中海量的噪声标签？
• RQ2 在训练过程中包含高度噪声的图像是否能提升模型泛化能力，而非降低性能？
• RQ3 通过特征空间密度实现的无监督复杂度排序，能否优于启发式或人工设计的课程结构？
• RQ4 CurriculumNet 在弱监督学习基准测试中与最先进方法相比表现如何？
• RQ5 该课程策略能否在噪声水平各异的多样化数据集中实现泛化？

主要发现

• 在 WebVision 2017 挑战中，CurriculumNet 实现了 5.2% 的 top-5 错误率，相比第二名方法相对错误率降低近 50%。
• 在 WebVision 数据集上，CurriculumNet 将 top-5 错误率从基线的 14.2% 降低至 10.8%，优于 CleanNet（12.2%）和 MentorNet（12.0%）。
• 在 Clothing-1M 上，CurriculumNet 将 top-1 准确率提升至 18.5%，优于 CleanNet（20.1%）和 Patrini 等人（19.6%），提升 1.6 至 3.3 个百分点。
• 在 Food-101 上，即使在仅使用 20% 随机标注数据训练的情况下，CurriculumNet 仍实现了 12.7% 的 top-1 错误率，优于 FoodNet（27.9%）和 CleanNet（16.0%）。
• 当结合 WebVision 和 ImageNet 数据时，CurriculumNet 将 ImageNet 上的 top-5 错误率从 8.6% 降低至 7.1%，展现出强大的抗噪声能力和数据效率。
• 模型表明，高度噪声的标签可作为正则化项，在课程训练调度中提升泛化能力。