[论文解读] From Noisy Prediction to True Label: Noisy Prediction Calibration via Generative Model

HeeSun Bae, Seungjae Shin+4 more|arXiv (Cornell University)|May 2, 2022

Machine Learning and Data Classification被引用 4

一句话总结

本文提出噪声预测校准（NPC），一种后处理方法，通过使用深度生成模型估计从噪声预测到真实标签的转移矩阵，校正预训练分类器的噪声预测。NPC 在无需微调的情况下，在多个数据集上提升了分类准确率，显著降低了预测误差，尤其在检测 MNIST 和 Fashion-MNIST 等基准数据集中此前被忽视的噪声样本方面优于现有方法。

ABSTRACT

Noisy labels are inevitable yet problematic in machine learning society. It ruins the generalization of a classifier by making the classifier over-fitted to noisy labels. Existing methods on noisy label have focused on modifying the classifier during the training procedure. It has two potential problems. First, these methods are not applicable to a pre-trained classifier without further access to training. Second, it is not easy to train a classifier and regularize all negative effects from noisy labels, simultaneously. We suggest a new branch of method, Noisy Prediction Calibration (NPC) in learning with noisy labels. Through the introduction and estimation of a new type of transition matrix via generative model, NPC corrects the noisy prediction from the pre-trained classifier to the true label as a post-processing scheme. We prove that NPC theoretically aligns with the transition matrix based methods. Yet, NPC empirically provides more accurate pathway to estimate true label, even without involvement in classifier learning. Also, NPC is applicable to any classifier trained with noisy label methods, if training instances and its predictions are available. Our method, NPC, boosts the classification performances of all baseline models on both synthetic and real-world datasets. The implemented code is available at https://github.com/BaeHeeSun/NPC.

研究动机与目标

• 为解决机器学习中持续存在的标签噪声问题，该问题会损害分类器的泛化能力，且在训练后难以纠正。
• 开发一种适用于任何预训练分类器的后处理解决方案，无需访问其训练数据或模型架构。
• 通过使用深度生成模型建模从噪声预测到真实标签的转移过程，提升噪声预测的准确率。
• 通过实证验证 NPC 在纠正误判方面优于现有方法，尤其在检测细微或此前被忽视的标签噪声方面。
• 证明该方法在多种噪声类型和真实世界数据集上的鲁棒性，包括此前被认为干净的基准数据集。

提出的方法

• NPC 提出一种基于深度生成模型的新颖转移矩阵估计方法，可将噪声预测映射到真实标签，无需真实标签的监督。
• 该方法使用条件生成模型学习给定噪声预测的输入分布，从而实现反向推理以估计真实标签。
• NPC 将校准问题形式化为后验估计问题，利用给定噪声预测的输入似然性，推断最可能的真实标签。
• 该方法在理论上与传统转移矩阵方法等价，确保与既有的噪声建模框架保持一致。
• NPC 作为即插即用的后处理模块，仅需模型的预测结果和输入特征，因此可普遍应用于任何黑箱分类器。
• 它采用 GradCAM 可视化注意力机制，表明 NPC 关注的是与类别相关的特征，而非无关的图像级模式。

实验结果

研究问题

• RQ1 后处理方法能否在不访问训练数据或模型架构的情况下，有效校准预训练分类器的噪声预测？
• RQ2 NPC 的生成建模方法在从噪声预测中估计真实标签方面，相较于基于转移矩阵的现有方法表现如何？
• RQ3 NPC 在广泛使用的基准数据集（如 MNIST 和 Fashion-MNIST）中，能多大程度上检测并纠正此前被忽视的噪声样本？
• RQ4 NPC 是否能在包括对称和非对称标签噪声在内的多种噪声设置下，提升泛化性能？
• RQ5 NPC 的注意力机制与那些也生成输入的生成模型有何不同，这种差异对校准准确率有何影响？

主要发现

• NPC 显著提升了所有基线模型在合成数据集和真实世界数据集上的准确率，且具有统计显著性，即使在未提供噪声比例的情况下亦然。
• 在 CIFAR-10 数据集上，当对称噪声比例为 20% 时，NPC 的校正效果比 CausalNL 的后处理版本高出 5.59 倍（以 (b)+(f)−((d)+(h)) 衡量）。
• NPC 在 MNIST 和 Fashion-MNIST 中成功识别出 50 个高置信度、可能被错误标注的样本，包括视觉内容与标注冲突的案例，如运动鞋与短筒靴的混淆。
• GradCAM 显示，NPC 对类别相关特征具有更优的关注度，而 CausalNL 因其生成目标，将注意力集中在无关图像区域。
• NPC 在所有评估基准上均达到最先进性能，证明其在先前被认为干净的数据集上也有效。
• 维恩图分析表明，NPC 减少了有害校正（情况 4），并增加了有益校正（情况 2），表明其校准策略谨慎可靠。