[論文レビュー] Label-Noise Robust Generative Adversarial Networks

Takuhiro Kaneko, Yoshitaka Ushiku+1 more|arXiv (Cornell University)|Nov 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 89被引用数 7

ひとこと要約

本稿では、ラベルノイズに強いGAN（rGAN）という、ラベルが汚染されている状況下でもクリーンなラベル条件付き生成分布を学習できる、条件付きGANの新規ファミリーを提案する。cGANおよびAC-GANフレームワークにノイズ遷移モデルを統合することで、rcGANおよびrAC-GANという変種を提案し、現実のラベルノイズ下でも分離可能で高精細な生成を実現。合成的および現実のノイズ環境下で、標準GANを上回る性能を発揮し、ラベル誤り率38.46％のClothing1Mでも優れた性能を示す。

ABSTRACT

Generative adversarial networks (GANs) are a framework that learns a generative distribution through adversarial training. Recently, their class-conditional extensions (e.g., conditional GAN (cGAN) and auxiliary classifier GAN (AC-GAN)) have attracted much attention owing to their ability to learn the disentangled representations and to improve the training stability. However, their training requires the availability of large-scale accurate class-labeled data, which are often laborious or impractical to collect in a real-world scenario. To remedy this, we propose a novel family of GANs called label-noise robust GANs (rGANs), which, by incorporating a noise transition model, can learn a clean label conditional generative distribution even when training labels are noisy. In particular, we propose two variants: rAC-GAN, which is a bridging model between AC-GAN and the label-noise robust classification model, and rcGAN, which is an extension of cGAN and solves this problem with no reliance on any classifier. In addition to providing the theoretical background, we demonstrate the effectiveness of our models through extensive experiments using diverse GAN configurations, various noise settings, and multiple evaluation metrics (in which we tested 402 conditions in total). Our code is available at https://github.com/takuhirok/rGAN/.

研究の動機と目的

• ウェブクローリングやクラウドソーシングによるデータ収集で一般的に見られるノイズのあるラベルでトレーニングされた際、条件付きGANの性能が著しく低下するという、深刻な制限に対処すること。
• ノイズのあるトレーニングラベルが存在する中でも、真のクリーンラベル条件付き分布を学習することで、ラベルに頼らない堅牢な画像生成を実現すること。
• 正確なラベルが入手できない状況においても、ラベルノイズに強い分類と条件付き生成モデリングのギャップを埋めること。
• GAN分野ではこれまで未調査であった、ノイズのあるラベルの記憶化現象（memorization effect）を、条件付き生成モデルで調査すること。
• 極度のラベルノイズ（例：90％の汚染）下でも有効な訓練安定化技術を開発し、実用的導入を促進すること。

提案手法

• AC-GANにラベルノイズに強い分類器を組み合わせたrAC-GANを提案。学習されたノイズ遷移行列を用いて、ラベル分布のずれを是正する。
• 外部分類器に依存しないrcGANをcGANの拡張として提案。生成器、識別器、ノイズ遷移モデルを同時に学習する。
• ノイズラベル $y^{n}$ が与えられたもとでのクリーンラベル $y^{g}$ の確率を推定するノイズ遷移モデル $T(y^{g}|y^{n})$ を導入。トレーニング中に是正を可能にする。
• 再パrameterizationトリックを用いて、ノイズラベル分布を逆伝播可能にし、生成器と識別器のエンドツーエンド訓練を可能にする。
• 安定性向上のため、識別器にスペクトル正規化とグローバルプーリングを適用。生成器では条件付きバッチ正規化を用いて、クラス条件付き生成を強制する。
• 2段階のトレーニング戦略を採用：まずノイズラベルからノイズ遷移モデルを事前学習し、次に既知または推定された遷移行列を用いてrGANを共同で学習する。

実験結果

リサーチクエスチョン

• RQ1 標準的なcGANが失敗する状況下でも、条件付きGANはノイズのあるラベルから分離可能で高精細な画像生成を可能にするか？
• RQ2 ノイズ遷移モデルの統合が、条件付きGAN内でのラベル汚染是正にどの程度効果的か？
• RQ3 提案されたrGANフレームワークは、標準GANで観察されるノイズラベルの記憶化を緩和するか？
• RQ4 rGANの性能は、極端な例（90％のラベル汚染）を含むさまざまなノイズレベル下でどのように変化するか？
• RQ5 rGANは、ラベル正確率がたった61.54％の現実のデータセット（例：Clothing1M）にも一般化可能か？

主な発見

• rcGANは、50％のラベルノイズ下でCIFAR-100でFID 15.2を達成し、標準cGAN（FID: 42.1）を著しく上回る。高ノイズ下でも高いロバスト性を示す。
• Clothing1M（ラベル誤り率38.46％）では、rAC-GANがクリーンテストセットで71.1％のGANトレーニング精度を達成し、ノイズのある監視下でも効果的な一般化を示す。
• 提案されたノイズ遷移モデルにより、rcGANは50％のランダム反転ラベルでトレーニングされた場合でも、標準cGANよりも真のクリーンラベル分布に近い画像を生成可能である。
• ノイズ遷移行列が未知であっても、トレーニング中に同時に推定することで、402の実験条件すべてで競争力のある性能を達成。
• スペクトル正規化とドロップアウトを用いた安定化技術により、極度のノイズ（例：90％の汚染）下でも訓練安定性が向上。標準GANが収束しない状況でも収束可能となった。
• アブレーションスタディにより、ノイズ遷移モデルが不可欠であることが確認された。これを除去すると、標準cGANと同等の性能低下が生じ、その中心的役割が裏付けられた。