[论文解读] DivideMix: Learning with Noisy Labels as Semi-supervised Learning

Junnan Li, Richard Socher+1 more|arXiv (Cornell University)|Feb 18, 2020

Machine Learning and Data Classification参考文献 44被引用 499

一句话总结

DivideMix 将带有噪声标签的学习视为半监督问题，通过对每个样本的损失进行建模并使用高斯混合模型来实现数据的共同划分，并通过标签精炼和跨两组分歧网络的共同猜测来增强半监督学习。

ABSTRACT

Deep neural networks are known to be annotation-hungry. Numerous efforts have been devoted to reducing the annotation cost when learning with deep networks. Two prominent directions include learning with noisy labels and semi-supervised learning by exploiting unlabeled data. In this work, we propose DivideMix, a novel framework for learning with noisy labels by leveraging semi-supervised learning techniques. In particular, DivideMix models the per-sample loss distribution with a mixture model to dynamically divide the training data into a labeled set with clean samples and an unlabeled set with noisy samples, and trains the model on both the labeled and unlabeled data in a semi-supervised manner. To avoid confirmation bias, we simultaneously train two diverged networks where each network uses the dataset division from the other network. During the semi-supervised training phase, we improve the MixMatch strategy by performing label co-refinement and label co-guessing on labeled and unlabeled samples, respectively. Experiments on multiple benchmark datasets demonstrate substantial improvements over state-of-the-art methods. Code is available at https://github.com/LiJunnan1992/DivideMix .

研究动机与目标

• 在降低标注成本的同时，应对带有噪声标签的深度网络训练挑战。
• 通过半监督学习利用未标注/带噪声的数据以提升泛化能力。
• 在训练过程中开发一种鲁棒的机制来区分干净样本与噪声样本。
• 通过使用两组分歧的网络相互教学来缓解确认偏差。
• 通过针对噪声标签的标签精炼和共同猜测来改进 SSL。

提出的方法

• 用高斯混合模型对每个样本的损失进行建模，以估计每个样本的干净/噪声概率。
• 使用 co-divide：两网络交替地把数据划分为供对方网络使用的带标签（干净）和无标签（噪声）集合。
• 使用置信惩罚进行预热以在不对称噪声下稳定学习。
• 应用增强的 MixMatch SSL 框架，包含标签共 refinement（利用预测分布对带标签样本的标签进行细化）以及对无标签数据的共猜测。
• 执行数据增强和基于 MixUp 的带标签和无标签样本混合，并添加一个正则化项以在类别之间强制均匀先验。
• 通过 SGD 更新网络，使用一个综合损失：对带标签数据的监督损失、对无标签数据的无监督损失，以及一个正则化项。

实验结果

研究问题

• RQ1 是否可以通过将任务重新表述为半监督学习来有效利用带噪声的标注数据？
• RQ2 共训练两组发散网络是否能够减少确认偏差并提高对标签噪声的鲁棒性？
• RQ3 如何对每个样本的损失建模及 MixMatch 进行改造，以应对不对称和高噪声情境？
• RQ4 在带噪声标签的半监督性能中，标签精炼和共同猜测的影响是什么？
• RQ5 DivideMix 在各基准测试中超越现有的 LNL 和 SSL 方法的程度如何？

主要发现

• DivideMix 在 CIFAR-10/100 的对称噪声和不对称噪声下均对比现有方法取得了显著提升。
• 在 CIFAR-10 的 40% 不对称噪声下，DivideMix 达到优于竞争方法的最佳性能。
• DivideMix 在 Clothing1M 和 WebVision 基准测试中持续超越基线方法。
• 消融研究表明，co-divide、标签精炼和 co-guessing 有助于性能提升，且两组发散网络有助于避免确认偏差。
• 推理阶段来自两网络的集成预测的结果优于单一模型。