[論文レビュー] Robustness of Conditional GANs to Noisy Labels

Kiran Koshy Thekumparampil, Ashish Khetan+2 more|arXiv (Cornell University)|Nov 8, 2018

Machine Learning and Data Classification参考文献 8被引用数 37

ひとこと要約

本稿では、ラベルノイズによる品質低下とラベル整合性の損なわれることを緩和する、2つのロバストな条件付きGANアーキテクチャ、RCGANおよびRCGAN-Uを提案する。ノイズラベルの原因となる誤り行列（既知または学習可能な）をモデル化し、生成器のフィードバックループにノイズマッチング機構を適用することで、生成器が真のクリーンな条件付き分布を学習することを保証する。MNISTおよびCIFAR-10において、ラベルノイズ下でも標準GANよりも優れた性能を示す。

ABSTRACT

We study the problem of learning conditional generators from noisy labeled samples, where the labels are corrupted by random noise. A standard training of conditional GANs will not only produce samples with wrong labels, but also generate poor quality samples. We consider two scenarios, depending on whether the noise model is known or not. When the distribution of the noise is known, we introduce a novel architecture which we call Robust Conditional GAN (RCGAN). The main idea is to corrupt the label of the generated sample before feeding to the adversarial discriminator, forcing the generator to produce samples with clean labels. This approach of passing through a matching noisy channel is justified by corresponding multiplicative approximation bounds between the loss of the RCGAN and the distance between the clean real distribution and the generator distribution. This shows that the proposed approach is robust, when used with a carefully chosen discriminator architecture, known as projection discriminator. When the distribution of the noise is not known, we provide an extension of our architecture, which we call RCGAN-U, that learns the noise model simultaneously while training the generator. We show experimentally on MNIST and CIFAR-10 datasets that both the approaches consistently improve upon baseline approaches, and RCGAN-U closely matches the performance of RCGAN.

研究の動機と目的

• ラベルがランダムに破損しているデータセット上で条件付きGANを訓練する課題に取り組み、生成の偏りや画像品質の低下を緩和すること。
• ラベルの誤りプロセスが既知または未知であっても、真の条件付きデータ分布 $ P_{X|Y} $ を回復する手法を開発すること。
• 特定の識別器制約下で、提案されたGANアーキテクチャのロバスト性に関する理論的保証を提供すること。
• ノイズモデルと生成器を同時に学習する訓練フレームワークを設計し、情報が限られた状況下でのロバスト性を実現すること。
• さまざまなノイズレベル下で、インセプションスコア、ラベル正確性、視覚的忠実度の観点から、ベースラインGANに対して一貫した性能向上を示すこと。

提案手法

• 既知のノイズモデルを想定したRCGANの提案：生成されたラベルを識別器入力前に汚染し、ノイズマッチング機構により生成器の出力をクリーンな分布に一致させる。
• 理論的条件を満たすプロジェクション識別器アーキテクチャを導入し、既知のノイズ下で真のクリーンな分布への収束を保証する。
• RCGANの損失関数をミニマックス最適化問題として定式化し、生成器がノイズ汚染後、実際のノイズ付きデータ分布と一致するように訓練されるようにする。
• 未知のノイズモデルに対応するため、学習中に誤り行列 $ C $ を同時に学習するRUCGAN-Uに拡張する。
• CIFAR-10のような複雑なデータセットでも誤り行列の学習を安定化させるために、線形分類器を正則化子として用いる。
• RCGAN-Uにおいて誤り行列に対角初期化を適用し、真のノイズ行列の置換バージョンへの収束を回避する。

実験結果

リサーチクエスチョン

• RQ1 ラベル誤りプロセスを明示的にモデル化することで、ノイズラベルに対してロバストな条件付きGANを構築できるか？
• RQ2 識別器クラスにどのような理論的条件を課すと、RCGAN損失の最小化が真のクリーンなデータ分布の回復を保証するか？
• RQ3 ノイズモデルが未知である場合、RCGAN-UはRCGANよりも優れた性能を示すか？
• RQ4 MNISTおよびCIFAR-10において、さまざまなラベルノイズレベル下で、提案手法が画像品質とラベル正確性をどの程度向上できるか？
• RQ5 プロジェクション識別器とノイズマッチング機構を用いることで、ラベルノイズ下でも標準GANよりも一般化性能が向上するか？

主な発見

• RCGANは、MNISTおよびCIFAR-10においてベースラインGANよりも顕著に高いインセプションスコアを達成し、0.0のノイズ（100％クリーンラベル）で0.995を記録した（アンバイアスドGANは0.994）。
• ノイズ付きMNISTデータセットでは、RCGAN-Uが0.1のノイズ（90％クリーンラベル）でラベル正確性0.995を達成し、同じノイズレベルでバイアス付きGAN（0.873）とアンバイアスドGAN（0.998）を上回った。
• CIFAR-10では、0.0のノイズ下でRCGAN-Uが生成ラベル正確性8.13％を維持し、アンバイアスドGAN（8.13％）とほぼ同等であった。一方、バイアス付きGANは7.6％まで低下した。
• 80％のラベルノイズ（1–α = 0.8）下では、RCGAN-UがCIFAR-10で8.03のインセプションスコアを達成し、アンバイアスドGAN（4.0）とバイアス付きGAN（7.75）を上回った。
• RCGANおよびRCGAN-Uの視覚的サンプルは、特に高ノイズレベル下でバイアス付きGANに比べ、顕著に優れたクラスの忠実度と画像品質を示した。
• RCGAN-Uにおける誤り行列の対角初期化により、CIFAR-10で真のノイズ行列の置換バージョンへの収束を効果的に回避できた。