[论文解读] Wasserstein Adversarial Regularization (WAR) on label noise

Kilian Fatras, Bharath Bhushan Damodaran+4 more|arXiv (Cornell University)|Apr 8, 2019

Machine Learning and Data Classification参考文献 2被引用 7

一句话总结

本文提出 Wasserstein 对抗正则化（WAR），一种新颖的对抗正则化方法，利用基于类别相似性的基础代价的 Wasserstein 距离，以提升对标签噪声的鲁棒性。通过将类别关系编码到正则化几何结构中，WAR 在相似类别之间选择性地平滑决策边界，同时为不相似类别保留复杂性，从而在多个基准测试（包括 CIFAR-10、CIFAR-100 和标签噪声下的语义分割）中优于当前最先进方法。

ABSTRACT

Noisy labels often occur in vision datasets, especially when they are obtained from crowdsourcing or Web scraping. We propose a new regularization method, which enables learning robust classifiers in presence of noisy data. To achieve this goal, we propose a new adversarial regularization scheme based on the Wasserstein distance. Using this distance allows taking into account specific relations between classes by leveraging the geometric properties of the labels space. Our Wasserstein Adversarial Regularization (WAR) encodes a selective regularization, which promotes smoothness of the classifier between some classes, while preserving sufficient complexity of the decision boundary between others. We first discuss how and why adversarial regularization can be used in the context of label noise and then show the effectiveness of our method on five datasets corrupted with noisy labels: in both benchmarks and real datasets, WAR outperforms the state-of-the-art competitors.

研究动机与目标

• 为解决在存在标签噪声的数据集上训练深度神经网络所面临的挑战，此类噪声会严重降低泛化性能。
• 开发一种适应类别特异性相似性的正则化框架，实现对相似类别之间决策边界的有选择性平滑。
• 在无需干净验证集或显式数据清洗的情况下提升模型鲁棒性。
• 在封闭集和开放集标签噪声场景下，均优于现有最先进方法。

提出的方法

• WAR 通过使用 Wasserstein 距离作为干净样本与对抗样本预测之间差异度量，扩展了对抗正则化方法。
• Wasserstein 距离的基础代价基于类别相似性设计，使正则化具备几何感知性和类别依赖性。
• 将先验知识或学习到的相似性（例如通过 word2vec 嵌入）融入代价矩阵，以反映预期的标签混淆模式。
• 对抗样本通过最大化 Wasserstein 损失生成，模型则通过最小化该损失进行更新，从而提升鲁棒性。
• 该方法与标准深度学习训练流程兼容，可与其它正则化或损失函数结合使用。
• 该方法无需拒绝分布外样本，因此适用于开放集标签噪声设置。

实验结果

研究问题

• RQ1 如何利用最优传输增强对抗正则化，以更好地建模标签噪声和类别关系？
• RQ2 基于类别相似性的正则化方案是否能提升高标签噪声率下的泛化性能？
• RQ3 WAR 在封闭集和开放集标签噪声场景下与最先进方法相比表现如何？
• RQ4 关于类别混淆的先验知识（例如来自词嵌入或混淆矩阵）在多大程度上能提升模型鲁棒性？
• RQ5 WAR 是否能在无需干净验证集或数据清洗步骤的情况下保持高性能？

主要发现

• 在 CIFAR-10 数据集上，标签噪声率达 40% 时，WAR 超过所有对比方法，包括 Co-Teaching 和 Bootstrapped Cross-Entropy，在 SVHN 和 ImageNet32 的开放集噪声场景下均取得最高准确率。
• 在 Potsdam 数据集的语义分割任务中，使用 word2vec 基于类别相似性的 WAR 实现了高于所有基线的平均 F1 分数，尽管整体准确率相比 Bootsoft 略有下降。
• 在 Fashion-MNIST 和 CIFAR-100 上，标签噪声率最高达 40% 时，WAR 在所有噪声水平和评估指标下均持续优于最先进方法。
• 该方法在开放集场景中表现出鲁棒性，无需样本拒绝，同时在分布外的噪声样本上仍取得优异性能。
• 可视化分析表明，WAR 更好地保留了细粒度区分（例如狼犬与哈士奇之间），避免了标准对抗正则化中常见的过度平滑问题。
• 消融实验确认，基础代价的选择显著影响性能，其中基于 word2vec 的相似性获得最佳结果。