[论文解读] Combating Label Noise in Deep Learning Using Abstention

Sunil Thulasidasan, Tanmoy Bhattacharya+3 more|arXiv (Cornell University)|May 27, 2019

Machine Learning and Data Classification参考文献 4被引用 77

一句话总结

本文提出一种深度舍弃分类器（DAC），在训练和推断中对混乱样本进行弃用，以在存在标签噪声时实现鲁棒性，包括结构化和非结构化噪声，并具备自动调优弃用和数据清理能力。

ABSTRACT

We introduce a novel method to combat label noise when training deep neural networks for classification. We propose a loss function that permits abstention during training thereby allowing the DNN to abstain on confusing samples while continuing to learn and improve classification performance on the non-abstained samples. We show how such a deep abstaining classifier (DAC) can be used for robust learning in the presence of different types of label noise. In the case of structured or systematic label noise -- where noisy training labels or confusing examples are correlated with underlying features of the data-- training with abstention enables representation learning for features that are associated with unreliable labels. In the case of unstructured (arbitrary) label noise, abstention during training enables the DAC to be used as an effective data cleaner by identifying samples that are likely to have label noise. We provide analytical results on the loss function behavior that enable dynamic adaption of abstention rates based on learning progress during training. We demonstrate the utility of the deep abstaining classifier for various image classification tasks under different types of label noise; in the case of arbitrary label noise, we show significant improvements over previously published results on multiple image benchmarks. Source code is available at https://github.com/thulas/dac-label-noise

研究动机与目标

• 激发并解决标签噪声对深度学习分类性能的影响。
• 提出一种损失函数，使训练过程中能够弃用，同时不牺牲对未弃用样本的学习。
• 表明弃用在结构化噪声下有助于鲁棒学习，并且在非结构化噪声下可作为有效的数据清理工具。
• 展示该方法在多种图像基准上的适用性，并深入探讨弃用行为与表征的洞察。

提出的方法

• 引入一个具有 k+1 输出的 DAC，其中额外的输出用于建模弃用。
• 定义一个修改后的交叉熵损失，将标准类别概率与弃用项以及可调弃用惩罚 α 相结合。
• 证明在弃用情况下，对真实类别的学习仍然得到维持（梯度行为）。
• 提供训练过程中用于平衡弃用和学习进展的 α 的自适应调参方案。
• 通过使 DAC 学习与不可靠标签相关的特征映射并据此弃用，演示结构化噪声学习。
• 通过使用 DAC 识别并修剪可能有噪声的样本，然后再对清洁的 DNN 进行再训练，演示非结构化噪声数据清理。

实验结果

研究问题

• RQ1 在标签系统性噪声存在时，训练中的弃用是否能帮助 DNN 学习稳健的表征？
• RQ2 DAC 是否能够识别出标签不可靠的样本并在训练中对它们进行弃用？
• RQ3 在均匀标签噪声下，弃用训练能否作为下游学习的有效数据清理步骤？
• RQ4 弃用机制如何影响 DNN 的学习动力学与记忆化？

主要发现

• DAC 在存在结构化和非结构化噪声的情况下实现鲁棒学习。
• DAC 能学习指示不可靠标签的特征，并对这类样本以高精度和召回率进行弃用。
• 使用 DAC 过滤噪声样本并对下游模型进行再训练，在基线和其他抗噪方法之上获得显著的准确性提升。
• DAC 的弃用行为在训练中演化，随着学习进展而减少弃用，并能揭示可解释的特征关联（例如像污迹等伪影）。
• 在数据清理实验中，通过 DAC 修剪噪声样本后在更干净的数据集上训练，通常超越了最先进的噪声处理方法。