[论文解读] Instance-Dependent Noisy Label Learning via Graphical Modelling

Arpit Garg, Cuong C. Nguyen+3 more|arXiv (Cornell University)|Sep 2, 2022

Machine Learning and Data Classification被引用 4

一句话总结

该论文提出 InstanceGM，一种用于实例相关噪声标签学习的图形建模方法，结合变分自编码器与连续伯努利分布进行图像重建，并使用 DivideMix 作为判别分类器，以同时利用干净标签和噪声标签。该方法在多个实例相关噪声（IDN）基准测试中达到最先进性能，包括在 50% 噪声率下的 CIFAR10 达到 95.90% 的准确率，通过更优的训练稳定性和全数据利用显著优于先前方法。

ABSTRACT

Noisy labels are unavoidable yet troublesome in the ecosystem of deep learning because models can easily overfit them. There are many types of label noise, such as symmetric, asymmetric and instance-dependent noise (IDN), with IDN being the only type that depends on image information. Such dependence on image information makes IDN a critical type of label noise to study, given that labelling mistakes are caused in large part by insufficient or ambiguous information about the visual classes present in images. Aiming to provide an effective technique to address IDN, we present a new graphical modelling approach called InstanceGM, that combines discriminative and generative models. The main contributions of InstanceGM are: i) the use of the continuous Bernoulli distribution to train the generative model, offering significant training advantages, and ii) the exploration of a state-of-the-art noisy-label discriminative classifier to generate clean labels from instance-dependent noisy-label samples. InstanceGM is competitive with current noisy-label learning approaches, particularly in IDN benchmarks using synthetic and real-world datasets, where our method shows better accuracy than the competitors in most experiments.

研究动机与目标

• 解决实例相关标签噪声（IDN）的挑战，即错误标注依赖于图像内容，这在真实世界数据集中常见，但先前方法研究不足。
• 克服现有方法依赖实例无关噪声假设或仅在训练中使用干净样本的局限性。
• 开发统一的图形模型框架，将真实标签和图像特征视为隐变量，联合建模图像与噪声标签的生成过程。
• 通过使用连续伯努利分布替代均方误差（MSE），改进图像重建，从而提升训练稳定性和性能。
• 通过用 DivideMix 替代 co-teaching，实现在半监督学习中同时利用干净和噪声样本，实现训练数据的全量使用。

提出的方法

• InstanceGM 采用图形模型，其中真实标签 $Y$ 和图像特征 $Z$ 为隐变量，观测数据为图像 $X$ 及其噪声标签 $\hat{Y}$。
• 生成模型使用变分自编码器（VAE）结合连续伯努利分布来建模重建图像的似然，替代标准 MSE 损失，以提升训练效果并消除超参数调优。
• 连续伯努利分布用于建模像素级重建，优化过程中提供更优的梯度流动与稳定性。
• 判别组件采用 DivideMix，一种半监督学习方法，通过伪标签和一致性正则化技术，利用干净和噪声标签联合训练。
• 通过端到端训练流程，联合优化生成与判别组件，实现在高 IDN 率下的鲁棒学习。
• 该方法在合成与真实世界 IDN 基准测试上进行评估，包括 CIFAR10、CIFAR100、Red Mini-ImageNet、ANIMAL-10N 和 CLOTHING-1M，性能持续提升。

Figure 2: The proposed InstanceGM trains the Classifiers to output clean labels for instance-dependent noisy-label samples. We first warmup our two classifiers (Classifier- { 11,12 } ) using the classification loss, and then with classification loss we train the GMM to separate clean and noisy sampl

实验结果

研究问题

• RQ1 与现有方法相比，联合建模图像与噪声标签生成的图形模型是否能提升实例相关噪声标签学习的性能？
• RQ2 将标准 MSE 重建损失替换为连续伯努利分布，是否能提升基于 VAE 的生成模型在噪声标签学习中的训练稳定性和准确性？
• RQ3 使用 DivideMix 作为判别分类器，通过同时利用干净和噪声样本，是否能超越仅使用干净样本的 co-teaching 方法？
• RQ4 InstanceGM 在多样化的 IDN 基准测试中表现如何，包括高噪声率的合成数据集和真实世界噪声数据集（如 CLOTHING-1M 和 ANIMAL-10N）？
• RQ5 连续伯努利重建与 DivideMix 各自对整体性能提升的贡献如何，相较于基线方法（如 CausalNL）？

主要发现

• 在 50% 实例相关噪声下，InstanceGM 在 CIFAR10 上达到 95.90% 的测试准确率，显著优于 CausalNL（78.63%）和使用 DivideMix 的 CausalNL（88.62%）。
• 在 ANIMAL-10N 上，InstanceGM 使用 VGG 主干网络达到 84.6% 准确率，使用 ResNet（82.2%）和 ConvNeXt（84.7%）进一步提升，表明其在不同架构间具有强大泛化能力。
• 在 Red Mini-ImageNet 上，无论是否使用自监督预训练，InstanceGM 均达到最先进性能，优于 PropMix 及其他近期方法。
• 消融实验表明，将 co-teaching 替换为 DivideMix 可使准确率提升约 10%，而将 MSE 替换为连续伯努利重建可进一步提升约 7%。
• 在 CLOTHING-1M 上，InstanceGM 达到 74.40% 准确率，在最先进方法中表现具有竞争力，与 DivideMix（74.76%）和 Nested-CoTeaching（74.90%）相当，表明其在大规模真实世界噪声数据集上的鲁棒性。
• 消融研究确认，连续伯努利重建损失与基于 DivideMix 的判别分类器均对 InstanceGM 的成功至关重要，每个组件均对最终性能提升有显著贡献。