[论文解读] Is your noise correction noisy? PLS: Robustness to label noise with two stage detection

Paul S. Albert, Eric Arazo+3 more|arXiv (Cornell University)|Oct 10, 2022

Machine Learning and Data Classification被引用 4

一句话总结

本文提出伪损失选择（Pseudo-Loss Selection, PLS），一种两阶段方法，通过使用一种新型度量——伪损失（pseudo-loss），该度量与伪标签正确性高度相关，来过滤错误的伪标签，从而提升对标签噪声的鲁棒性。通过动态降低低置信度修正的权重，并采用基于置信度的对比学习目标，PLS在合成数据集和真实世界噪声数据集上均实现了最先进（SOTA）的性能表现，在分布内和分布外噪声设置下均优于现有方法。

ABSTRACT

Designing robust algorithms capable of training accurate neural networks on uncurated datasets from the web has been the subject of much research as it reduces the need for time consuming human labor. The focus of many previous research contributions has been on the detection of different types of label noise; however, this paper proposes to improve the correction accuracy of noisy samples once they have been detected. In many state-of-the-art contributions, a two phase approach is adopted where the noisy samples are detected before guessing a corrected pseudo-label in a semi-supervised fashion. The guessed pseudo-labels are then used in the supervised objective without ensuring that the label guess is likely to be correct. This can lead to confirmation bias, which reduces the noise robustness. Here we propose the pseudo-loss, a simple metric that we find to be strongly correlated with pseudo-label correctness on noisy samples. Using the pseudo-loss, we dynamically down weight under-confident pseudo-labels throughout training to avoid confirmation bias and improve the network accuracy. We additionally propose to use a confidence guided contrastive objective that learns robust representation on an interpolated objective between class bound (supervised) for confidently corrected samples and unsupervised representation for under-confident label corrections. Experiments demonstrate the state-of-the-art performance of our Pseudo-Loss Selection (PLS) algorithm on a variety of benchmark datasets including curated data synthetically corrupted with in-distribution and out-of-distribution noise, and two real world web noise datasets. Our experiments are fully reproducible github.com/PaulAlbert31/SNCF

研究动机与目标

• 解决标签噪声校正中的关键空白：由于确认偏误，错误的伪标签会降低模型性能。
• 提升两阶段标签噪声缓解流水线中伪标签校正的准确性。
• 开发一种可靠的度量方法以识别正确的伪标签，超越以往半监督方法中使用的基于置信度的阈值。
• 设计一种对比学习目标，根据伪标签的可靠性自适应地在监督学习与无监督学习之间切换。
• 在合成损坏数据集和真实世界网络爬取数据集（包含多种噪声类型）上验证该方法。

提出的方法

• 提出伪损失——一种新度量，用于量化伪标签正确的可能性，显示出与实际正确性之间的强相关性。
• 利用伪损失动态降低低置信度伪标签的训练更新权重，从而在优化过程中缓解确认偏误。
• 引入一种基于置信度的插值对比损失，将可靠伪标签的监督对比学习与不可靠伪标签的无监督对比学习相结合。
• 采用两阶段框架：首先使用现有方法检测噪声样本，然后利用伪损失过滤错误的修正结果。
• 在第一阶段使用训练损失的混合模型检测噪声样本，随后通过一致性正则化生成伪标签。
• 使用结合交叉熵分类与插值对比损失的联合目标训练神经网络，以学习鲁棒表征。

实验结果

研究问题

• RQ1 除了预测置信度之外，是否存在一种度量可可靠识别噪声标签校正中的正确伪标签？
• RQ2 通过伪损失过滤错误的伪标签，是否能减少确认偏误并在噪声数据集上提升模型准确率？
• RQ3 当部分伪标签错误时，所提出的插值对比学习目标如何改善表示学习？
• RQ4 PLS方法是否能泛化到真实世界网络爬取数据集中的分布内与分布外噪声？
• RQ5 PLS是否能在不依赖集成方法或标签平滑的情况下实现最先进性能？

主要发现

• 在具有合成分布内噪声的CIFAR-100上，PLS实现了最先进准确率，即使不使用标签平滑或集成技术，也优于现有方法。
• 在CIFAR-100上混合分布内与分布外噪声时，PLS通过为分布外图像分配低伪损失值，有效过滤出这些图像，防止错误修正。
• 在受控的网络损坏实验（CNWL）中，PLS在仅使用单个网络且无自监督预训练的情况下，性能优于SOTA方法（如SNCF）。
• 在真实世界网络爬取数据集（Web-aircraft、Web-bird、Web-car）上，PLS的表现与集成方法和协同学习方法相当或更优，展现出强大的泛化能力。
• 伪损失度量在识别正确伪标签方面显著优于传统基于置信度的阈值，该结论在多个基准和噪声类型中均得到验证。
• 消融实验确认，插值对比损失与伪损失过滤均为PLS性能提升的关键组件。