[论文解读] CleanNet: Transfer Learning for Scalable Image Classifier Training with Label Noise

Kuang-Huei Lee, Xiaodong He+2 more|arXiv (Cornell University)|Nov 20, 2017

Machine Learning and Data Classification参考文献 34被引用 37

一句话总结

CleanNet 提出了一种迁移学习框架，通过从少量人工验证的类别中学习类别原型，减少了标签噪声检测和图像分类任务中的人工监督。通过联合训练神经网络以嵌入类别参考和查询图像，它实现了跨类别的噪声检测知识迁移，在图像分类任务中仅使用3.2%的标注图像，即可达到完整人工验证性能的47%。

ABSTRACT

In this paper, we study the problem of learning image classification models with label noise. Existing approaches depending on human supervision are generally not scalable as manually identifying correct or incorrect labels is time-consuming, whereas approaches not relying on human supervision are scalable but less effective. To reduce the amount of human supervision for label noise cleaning, we introduce CleanNet, a joint neural embedding network, which only requires a fraction of the classes being manually verified to provide the knowledge of label noise that can be transferred to other classes. We further integrate CleanNet and conventional convolutional neural network classifier into one framework for image classification learning. We demonstrate the effectiveness of the proposed algorithm on both of the label noise detection task and the image classification on noisy data task on several large-scale datasets. Experimental results show that CleanNet can reduce label noise detection error rate on held-out classes where no human supervision available by 41.5% compared to current weakly supervised methods. It also achieves 47% of the performance gain of verifying all images with only 3.2% images verified on an image classification task. Source code and dataset will be available at kuanghuei.github.io/CleanNetProject.

研究动机与目标

• 为解决标签噪声检测中的可扩展性-准确性权衡问题，减少对大量人工标注的依赖。
• 开发一种方法，将少量人工验证类别中的知识迁移至未验证类别，以实现有效的标签噪声检测。
• 在统一的、端到端可微分框架中整合标签噪声检测与图像分类器训练。
• 证明仅使用一小部分人工验证标签即可实现接近全监督的性能，尤其在大规模图像分类任务中。

提出的方法

• CleanNet 使用基于注意力机制的参考集编码器，从一组为特定类别标注的参考图像中生成类别嵌入向量。
• 为每张独立图像学习一个查询嵌入，并在图像标签正确时强制查询嵌入与类别嵌入之间满足相似性匹配约束。
• 该模型利用迁移学习，将已验证类别中的噪声检测知识泛化到未验证类别，从而实现在新类别上无需人工监督即可进行推理。
• 采用基于图像与标签相关性得分的软加权方案，在分类器训练过程中重新加权训练样本。
• 该框架联合训练 CleanNet 与卷积神经网络分类器，并通过更新后的分类器特征迭代优化 CleanNet。
• 该方法采用可微分架构，支持对类别嵌入和查询嵌入两部分进行反向传播。

实验结果

研究问题

• RQ1 是否可以使用一小部分人工验证标签来训练一个模型，使其能够泛化至未验证类别的标签噪声检测？
• RQ2 迁移学习在减少标签噪声检测与图像分类任务中人工监督需求方面的有效性如何？
• RQ3 CleanNet 在仅使用少量标签的情况下，能在多大程度上达到全人工验证的性能？
• RQ4 将 CleanNet 与标准 CNN 集成，是否能提升大规模数据集对标签噪声的鲁棒性？

主要发现

• 在未见类别上，CleanNet 将标签噪声检测错误率相比弱监督基线降低了41.5%，即使这些类别未提供任何人工监督。
• 在 Clothing1M 数据集上，仅使用3.2%的图像进行验证，CleanNet 在100万张带噪声的训练图像上实现了74.69%的 top-1 准确率，相当于全验证性能提升的47%。
• 在 WebVision 数据集上，仅验证3.2%的图像（308个类别），即可获得全验证性能提升的47%，表明其具有强大的可迁移性。
• 当随机选择118个类别进行验证（占图像总数的1.2%）时，CleanNet 在 WebVision 上实现了全验证性能提升的29%。
• 尽管未使用标签混淆信息，该方法在 Clothing1M 上的性能与最先进方法 [20]（top-1 准确率为80.38%）相当。
• 通过联合优化 CleanNet 与图像分类器的统一训练方案，在所有测试数据集（Food-101N、Clothing1M 和 WebVision）上均实现了稳定提升。