[论文解读] A Meta Approach to Defend Noisy Labels by the Manifold Regularizer PSDR

Pengfei Chen, Benben Liao+2 more|arXiv (Cornell University)|Jun 13, 2019

Machine Learning and Data Classification参考文献 23被引用 5

一句话总结

该论文提出配对Softmax散度正则化（PSDR），一种流形正则化方法，通过强制对数据增强后的相似输入的Softmax输出保持一致性，提升深度神经网络对噪声标签的鲁棒性。通过最小化增强样本预测结果之间的KL散度，PSDR利用全部训练数据（包括带有噪声标签的样本）而无需丢弃样本，实现了最先进性能，例如在40%噪声标签的CIFAR-10数据集上接近干净数据的准确率。

ABSTRACT

Noisy labels are ubiquitous in real-world datasets, which poses a challenge for robustly training deep neural networks (DNNs) since DNNs can easily overfit to the noisy labels. Most recent efforts have been devoted to defending noisy labels by discarding noisy samples from the training set or assigning weights to training samples, where the weight associated with a noisy sample is expected to be small. Thereby, these previous efforts result in a waste of samples, especially those assigned with small weights. The input $x$ is always useful regardless of whether its observed label $y$ is clean. To make full use of all samples, we introduce a manifold regularizer, named as Paired Softmax Divergence Regularization (PSDR), to penalize the Kullback-Leibler (KL) divergence between softmax outputs of similar inputs. In particular, similar inputs can be effectively generated by data augmentation. PSDR can be easily implemented on any type of DNNs to improve the robustness against noisy labels. As empirically demonstrated on benchmark datasets, our PSDR impressively improve state-of-the-art results by a significant margin.

研究动机与目标

• 解决现有方法因丢弃或降低噪声样本权重而导致的训练数据减少与泛化能力下降的问题。
• 开发一种正则化技术，通过数据增强实现输入相似性，充分利用所有训练样本（包括带有噪声标签的样本）。
• 通过显式强制在相似输入上模型预测的平滑性，提升在噪声标签数据上训练的DNN的泛化能力。
• 提供一种简单、即插即用的正则化方法，兼容任意DNN架构，无需清洁验证集或复杂的标签校正。
• 实证证明PSDR在高噪声比率下显著提升准确率，接近在干净数据集上的性能。

提出的方法

• PSDR引入一种流形正则化器，通过最小化经数据增强生成的配对输入之间Softmax输出的Kullback-Leibler（KL）散度。
• 利用数据增强为每个原始样本生成多个相似输入，形成预期具有稳定预测结果的正样本对。
• 正则化损失计算为每对增强样本Softmax输出之间KL散度的平均值，并添加到标准交叉熵损失中。
• 该方法为无监督方法，无需标签质量信息，可直接应用于任意DNN架构且无需架构修改。
• 该方法隐式地在相似输入周围强制模型决策边界的平滑性，减少对噪声标签的过拟合。
• PSDR作为训练过程中的附加损失项实现，可轻松与现有噪声鲁棒训练方法结合。

实验结果

研究问题

• RQ1 我们能否在不丢弃或降低错误标签样本权重的前提下，提升深度神经网络对噪声标签的鲁棒性？
• RQ2 在数据增强生成的相似输入上强制预测一致性，是否能提升高标签噪声下的泛化能力？
• RQ3 像PSDR这样简单且架构无关的正则化项，能否在噪声标签设置下超越现有最先进方法？
• RQ4 与仅通过数据增强实现的隐式平滑相比，通过KL散度在增强对上显式进行流形正则化，是否能更有效地减少对噪声标签的过拟合？
• RQ5 PSDR能否在极端噪声比率（如50%噪声标签）下，无需清洁验证数据，实现在基准数据集上的近似干净数据性能？

主要发现

• 在40%噪声标签的CIFAR-10数据集中，PSDR实现了接近干净数据的性能，证明所有训练样本（包括错误标签样本）可被有效利用。
• 在CIFAR-10数据集中，对称噪声比例为50%时，PSDR使ResNet-32达到约80%的测试准确率，显著优于标准训练和仅使用数据增强的方法。
• 该方法在多种基准数据集（CIFAR-10、CIFAR-100）上，针对不同噪声类型和比例，持续提升最先进基线模型的性能。
• 即使无需清洁验证集，PSDR在性能上也显著超越Co-teaching、MentorNet和Reweight等现有方法。
• 消融实验表明，PSDR的显式正则化比仅通过数据增强实现的隐式平滑更有效，因为它能防止训练后期的过拟合。
• 该方法在不同网络架构和噪声模式下均表现稳定，证实了所提正则化的泛化能力。