[论文解读] Bootstrapping the Relationship Between Images and Their Clean and Noisy Labels

Brandon Smart, Gustavo Carneiro|arXiv (Cornell University)|Oct 17, 2022

Water Systems and Optimization被引用 4

一句话总结

该论文提出了一种三阶段训练算法，无需预先标注的干净数据集，即可学习图像、干净标签与噪声标签之间的关系。通过自监督预训练、利用早停法识别高置信度干净样本集，以及利用半监督学习重新标注剩余样本，该方法在具有非对称性和实例相关性标签噪声的基准测试中实现了最先进性能，且仅使用单一、简单的模型架构。

ABSTRACT

Many state-of-the-art noisy-label learning methods rely on learning mechanisms that estimate the samples' clean labels during training and discard their original noisy labels. However, this approach prevents the learning of the relationship between images, noisy labels and clean labels, which has been shown to be useful when dealing with instance-dependent label noise problems. Furthermore, methods that do aim to learn this relationship require cleanly annotated subsets of data, as well as distillation or multi-faceted models for training. In this paper, we propose a new training algorithm that relies on a simple model to learn the relationship between clean and noisy labels without the need for a cleanly labelled subset of data. Our algorithm follows a 3-stage process, namely: 1) self-supervised pre-training followed by an early-stopping training of the classifier to confidently predict clean labels for a subset of the training set; 2) use the clean set from stage (1) to bootstrap the relationship between images, noisy labels and clean labels, which we exploit for effective relabelling of the remaining training set using semi-supervised learning; and 3) supervised training of the classifier with all relabelled samples from stage (2). By learning this relationship, we achieve state-of-the-art performance in asymmetric and instance-dependent label noise problems.

研究动机与目标

• 解决真实世界数据集中因缺乏干净标签而导致的实例相关性标签噪声（IDN）挑战。
• 在不依赖预标注干净子集的前提下，学习图像、噪声标签与干净标签之间的关系。
• 通过引入“标签丢弃”策略，消除模型蒸馏的需要，实现端到端推理。
• 在使用单一、简单模型架构的前提下，在非对称性和实例相关性标签噪声基准测试中实现最先进性能。

提出的方法

• 使用对比学习（如 SimCLR）在完整训练集上进行自监督预训练，以学习鲁棒的图像表征。
• 使用“空”标签训练分类器以预测噪声标签，通过早停法识别出高置信度预测子集作为伪干净样本集。
• 在自举过程中应用噪声转移样本平衡策略，防止对已正确样本的偏向，并确保各类噪声转移均被充分代表。
• 在半监督学习阶段使用识别出的干净样本集，显式学习图像、噪声标签与干净标签之间的关系，从而实现对剩余数据的有效重新标注。
• 在最终监督训练阶段，使用重新标注的样本对整个数据集进行训练，结合 MixUp 和强数据增强以提升泛化能力。
• 引入“标签丢弃”策略，在训练过程中随机将噪声标签替换为“空”标签，从而消除对蒸馏的依赖，并支持对已标注和未标注样本的直接推理。

Figure 1: On the left, we show a ‘normal’ deep neural network model used for noisy label learning tasks. On the right, we present a ‘modified’ model that can learn the relationship between images $\mathbf{x}$ , noisy labels $\tilde{\mathbf{y}}$ and clean labels $\mathbf{y}$ , similar to those used b

实验结果

研究问题

• RQ1 模型是否能在未访问预标注干净数据集的情况下，学习图像、噪声标签与干净标签之间的关系？
• RQ2 结合自监督、早停法与半监督学习的三阶段自举流程，是否能提升实例相关性噪声设置下的重新标注准确率？
• RQ3 在自举过程中应用噪声转移平衡策略，是否能防止所选干净样本集的偏差，并提升下游重新标注性能？
• RQ4 所提方法是否能在非对称性和实例相关性标签噪声基准测试中，使用单一、简单模型架构实现最先进性能？
• RQ5 “标签丢弃”策略是否能消除对模型蒸馏的依赖，同时在噪声样本与干净样本上均保持高性能？

主要发现

• 在具有 40% 非对称标签噪声的 CIFAR-10 数据集上，该方法实现了 95.85% 的最先进准确率，优于现有方法。
• 自举阶段结束后，模型准确率达到 91.41%，经半监督学习后提升至 94.98%，最终结合 MixUp 与强增强训练后达到 95.85%。
• 自监督预训练将自举干净样本集中的错误数从无预训练时的 369 例降至 21 例，显著提升了干净样本集的质量。
• 在自举训练中使用强增强可将干净样本集错误数降至 31 例，而无增强时为 579 例，证明了强增强的正则化效果。
• “标签丢弃”策略使模型能够直接对噪声样本和干净样本进行推理，无需蒸馏，简化了部署与模型服务流程。
• 该方法在实例相关性和非对称标签噪声基准测试中实现了最先进结果，且仅使用单一模型架构，而以往最先进方法需依赖复杂的双模型结构（如 DivideMix）。

Figure 2: Our proposed algorithm. The bootstrapping stage consists of self-supervised pre-training, followed by early-stopping classification training to identify a small set of confidently relabelled samples (i.e., clean labelled samples). This set is then used to learn the relationship between ima