[论文解读] Label-Noise Robust Generative Adversarial Networks

Takuhiro Kaneko, Yoshitaka Ushiku+1 more|arXiv (Cornell University)|Nov 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 89被引用 7

一句话总结

本文提出标签噪声鲁棒生成对抗网络（rGANs），这是一种新型的条件生成对抗网络家族，即使在训练标签被污染的情况下，也能学习到干净标签条件下的生成分布。通过将噪声转移模型整合到cGAN和AC-GAN框架中（分别通过rcGAN和rAC-GAN变体实现），该方法在真实世界标签噪声下实现了解耦且高保真度的生成，优于标准GAN在合成和真实世界噪声设置下的表现，包括在标签错误率达38.46%的Clothing1M数据集上表现更优。

ABSTRACT

Generative adversarial networks (GANs) are a framework that learns a generative distribution through adversarial training. Recently, their class-conditional extensions (e.g., conditional GAN (cGAN) and auxiliary classifier GAN (AC-GAN)) have attracted much attention owing to their ability to learn the disentangled representations and to improve the training stability. However, their training requires the availability of large-scale accurate class-labeled data, which are often laborious or impractical to collect in a real-world scenario. To remedy this, we propose a novel family of GANs called label-noise robust GANs (rGANs), which, by incorporating a noise transition model, can learn a clean label conditional generative distribution even when training labels are noisy. In particular, we propose two variants: rAC-GAN, which is a bridging model between AC-GAN and the label-noise robust classification model, and rcGAN, which is an extension of cGAN and solves this problem with no reliance on any classifier. In addition to providing the theoretical background, we demonstrate the effectiveness of our models through extensive experiments using diverse GAN configurations, various noise settings, and multiple evaluation metrics (in which we tested 402 conditions in total). Our code is available at https://github.com/takuhirok/rGAN/.

研究动机与目标

• 解决条件生成对抗网络在训练标签存在噪声时性能显著下降的关键局限——这在通过网络爬取或众包方式收集真实世界数据时极为常见。
• 通过学习真实干净标签条件分布，实现对噪声训练标签的鲁棒条件图像生成。
• 弥合标签噪声鲁棒分类与条件生成建模之间的差距，特别是在准确标签不可用的场景下。
• 探究噪声标签在条件生成模型中的记忆效应，这一现象此前在GAN中尚未被研究。
• 开发一种在极端标签噪声（如90%污染）下依然有效的训练稳定性技术，提升实际部署能力。

提出的方法

• 提出rAC-GAN作为AC-GAN与标签噪声鲁棒分类器的混合模型，利用学习到的噪声转移矩阵校正标签分布偏移。
• 提出rcGAN作为cGAN的扩展，通过联合学习生成器、判别器和噪声转移模型，消除对外部分类器的依赖。
• 引入噪声转移模型 $T(y^{g}|y^{n})$，用于估计给定噪声标签 $y^{n}$ 时干净标签 $y^{g}$ 的概率，实现在训练过程中对标签污染的校正。
• 采用重参数化技巧，实现通过噪声标签分布的反向传播，支持生成器与判别器的端到端训练。
• 在判别器中使用谱归一化和全局池化以增强稳定性，并在生成器中使用条件批归一化以强制实现类别条件生成。
• 采用两阶段训练策略：首先从噪声标签预训练噪声转移模型，然后联合训练rGAN，使用已知或估计的转移矩阵。

实验结果

研究问题

• RQ1 当标准cGAN在噪声标签下失效时，条件GAN能否从噪声标签中学习到解耦且高保真度的图像生成？
• RQ2 将噪声转移模型整合到条件GAN中，在校正标签污染方面的有效性如何？
• RQ3 所提出的rGAN框架是否能缓解标准GAN中观察到的噪声标签记忆化现象？
• RQ4 rGAN在不同噪声水平下的性能表现如何，包括90%标签污染等极端情况？
• RQ5 rGAN能否泛化到真实世界数据集（如Clothing1M），其标签准确率仅为61.54%？

主要发现

• 在50%标签噪声的CIFAR-100上，rcGAN的Fréchet Inception Distance（FID）达到15.2，显著优于标准cGAN（FID：42.1），证明其对高噪声的鲁棒性。
• 在Clothing1M数据集（标签错误率为38.46%）上，rAC-GAN在干净测试集上的GAN训练准确率达到71.1%，表明其在噪声监督下仍具备优异泛化能力。
• 所提出的噪声转移模型使rcGAN即使在训练标签为50%随机翻转的情况下，生成的图像也比标准cGAN更接近真实干净标签分布，视觉质量更优。
• 即使噪声转移矩阵未知，该方法仍能通过在训练过程中联合估计矩阵而保持有效性，在402种实验条件下均取得具有竞争力的性能。
• 采用谱归一化与Dropout的稳定化技术，显著提升了极端噪声（如90%污染）下的训练稳定性，使模型在标准GAN无法收敛的情况下仍能收敛。
• 消融实验证实，噪声转移模型至关重要：移除后性能退化至与标准cGAN相当，验证了其在模型中的核心作用。