[论文解读] Detecting Corrupted Labels Without Training a Model to Predict

Zhaowei Zhu, Zihao Dong+1 more|arXiv (Cornell University)|Oct 12, 2021

Machine Learning and Data Classification被引用 16

一句话总结

本文提出了一种无需训练、以数据为中心的方法，通过利用特征空间中的邻域信息来检测机器学习数据集中的标签损坏问题。通过在预提取的特征上使用局部投票和基于排名的评分，该方法在CIFAR-10和CIFAR-100等真实世界噪声数据集上，相比基于学习的基线方法最高提升20%，证明了标签检测无需模型训练或噪声监督。

ABSTRACT

Label noise in real-world datasets encodes wrong correlation patterns and impairs the generalization of deep neural networks (DNNs). It is critical to find efficient ways to detect corrupted patterns. Current methods primarily focus on designing robust training techniques to prevent DNNs from memorizing corrupted patterns. These approaches often require customized training processes and may overfit corrupted patterns, leading to a performance drop in detection. In this paper, from a more data-centric perspective, we propose a training-free solution to detect corrupted labels. Intuitively, ``closer'' instances are more likely to share the same clean label. Based on the neighborhood information, we propose two methods: the first one uses ``local voting" via checking the noisy label consensuses of nearby features. The second one is a ranking-based approach that scores each instance and filters out a guaranteed number of instances that are likely to be corrupted. We theoretically analyze how the quality of features affects the local voting and provide guidelines for tuning neighborhood size. We also prove the worst-case error bound for the ranking-based method. Experiments with both synthetic and real-world label noise demonstrate our training-free solutions consistently and significantly improve most of the training-based baselines. Code is available at github.com/UCSC-REAL/SimiFeat.

研究动机与目标

• 解决基于学习的标签检测方法存在的局限性，后者需要定制化训练且存在对损坏样本过拟合的风险。
• 提出一种以数据为中心、无需训练的替代方法，仅利用特征表示和邻域结构来检测标签噪声。
• 在不依赖模型记忆化或超参数调优的前提下，提升标签噪声检测的鲁棒性和泛化能力。
• 证明来自预训练模型或对比学习的高质量特征可显著提升检测性能。

提出的方法

• 提出一种局部投票方法，通过检查附近特征的标签一致性来识别损坏样本。
• 提出一种基于排名的方法，通过计算每个样本为干净标签的可能性进行评分，并将低分样本过滤为损坏样本。
• 使用预训练特征（如CLIP或SimCLR）作为输入，避免对模型进行微调或使用噪声标签进行训练。
• 理论分析为最优邻域大小提供指导，并证明基于排名的方法的最坏情况误差界。
• 通过余弦距离计算特征相似性以定义邻域，实现无需重新训练模型的高效计算。
• 在合成数据集和真实世界噪声数据集（包括CIFAR-10、CIFAR-100和Clothing1M）上验证了该方法的有效性。

实验结果

研究问题

• RQ1 是否可以仅依赖特征邻域结构，无需在噪声标签上训练模型，来检测标签损坏？
• RQ2 特征质量如何影响基于邻域的标签检测性能？
• RQ3 与模型logits相比，使用其他任务或领域预训练的特征是否能提升检测的鲁棒性？
• RQ4 无训练方法是否能在检测真实世界人工标注的标签噪声方面超越现有基于学习的基线方法？
• RQ5 所提出的基于排名的检测方法在误差率上具有怎样的理论保证？

主要发现

• 所提出的SimiFeat方法在CIFAR-10和CIFAR-100上相比基线方法最高提升20%的F1分数，表现出更优的鲁棒性。
• 基于排名的方法（SimiFeat-R）在12种设置中的8种中排名第一，F1分数甚至超过CORES和CE Sieve。
• 使用对比学习预训练的特征（如R34-C10-SSL）在CIFAR-100上优于监督预训练，表明其对分布外数据具有更好的泛化能力。
• 使用SimiFeat-R过滤损坏样本后，在Clothing1M数据集上测试准确率达到73.64%，超越多个最先进基线方法。
• 当使用高质量特征时，该方法表现最佳，理想特征下F1分数接近1.0。
• 该方法在不同类型的噪声和数据集上表现稳定，即使特征与目标数据分布不一致，依然有效。