[论文解读] A Unified Plug-and-Play Framework for Effective Data Denoising and Robust Abstention

Krishanu Sarker, Xiulong Yang+3 more|arXiv (Cornell University)|Sep 25, 2020

Image and Signal Denoising Methods参考文献 26被引用 5

一句话总结

该论文提出了一种统一的即插即用框架，利用特征空间中的学习到的数据密度来去除训练数据中的噪声，并在不预测不确定的测试样本时保持不变，且无需修改深度神经网络（DNN）架构或损失函数。通过识别远离类别特定数据分布的样本，该方法在多个CNN模型和数据集上，均在数据去噪和鲁棒性拒识方面优于当前最先进（SOTA）的技术，如DAC和SelectiveNet。

ABSTRACT

The success of Deep Neural Networks (DNNs) highly depends on data quality. Moreover, predictive uncertainty makes high performing DNNs risky for real-world deployment. In this paper, we aim to address these two issues by proposing a unified filtering framework leveraging underlying data density, that can effectively denoise training data as well as avoid predicting uncertain test data points. Our proposed framework leverages underlying data distribution to differentiate between noise and clean data samples without requiring any modification to existing DNN architectures or loss functions. Extensive experiments on multiple image classification datasets and multiple CNN architectures demonstrate that our simple yet effective framework can outperform the state-of-the-art techniques in denoising training data and abstaining uncertain test data.

研究动机与目标

• 解决现实世界DNN部署中训练数据噪声和预测不确定性双重挑战。
• 开发一种统一的端到端框架，以在不修改现有模型或损失函数的情况下提升模型可靠性。
• 利用内在数据密度有效过滤噪声训练样本和不确定的测试预测。
• 在去噪和拒识任务中，证明其性能优于DAC和SelectiveNet等SOTA方法。

提出的方法

• 该框架使用预训练的DNN提取特征，并在特征空间中建模类别特定的数据密度。
• 若样本远离任何类别分布或与多个分布等距，则被分类为噪声样本或不确定样本。
• 采用模态分析与自适应阈值策略，基于样本到数据簇的距离差异，区分干净样本与噪声样本。
• 该方法作为插件模块运行，无需对现有SOTA模型进行微调或架构修改。
• 其利用DNN在训练早期即学习到鲁棒特征的观察，即使在数据存在噪声时也能实现可靠的密度估计。
• 该框架在训练阶段（用于数据去噪）和推理阶段（用于不确定性拒识）均使用相同的基于密度的准则。

实验结果

研究问题

• RQ1 是否可以设计一种统一框架，在不修改DNN架构的前提下，有效去除训练数据噪声并拒识不确定的测试预测？
• RQ2 特征空间中的数据密度与标签噪声及预测不确定性之间存在何种关联？
• RQ3 一种简单、即插即用的方法是否能在去噪和拒识任务中均超越DAC和SelectiveNet等专用SOTA模型？
• RQ4 预训练的特征表示如何实现可靠的数据分布建模以支持有效过滤？

主要发现

• 所提出的框架在训练数据去噪方面优于DAC，在CIFAR-10和ImageNet上人工标签噪声设置下实现了更高的准确率。
• 在测试数据拒识方面，该方法在所有覆盖率水平下均超越SelectiveNet，展现出更优的校准性能和整体表现。
• 通过t-SNE可视化证实，该框架能有效识别并过滤训练集和测试集中存在的噪声样本与模糊样本。
• 使用去噪后的数据进行训练可加速收敛并提升最终测试准确率，尤其在重标签噪声条件下（消融研究中为60%）效果显著。
• 该方法计算开销极小，仅需一次模型前向传播即可完成过滤，实现了具有竞争力的性能表现。