[論文レビュー] Dropout-GAN: Learning from a Dynamic Ensemble of Discriminators

Gonçalo Mordido, Haojin Yang+1 more|arXiv (Cornell University)|Jul 30, 2018

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 48

ひとこと要約

Dropout-GAN は、識別器のフィードバックをドロップアウトしてダイナミックに変化する識別器アンサンブルに対して単一の生成器を訓練し、サンプルの多様性を向上させ、複数データセットに渡るモード崩壊を緩和する。

ABSTRACT

We propose to incorporate adversarial dropout in generative multi-adversarial networks, by omitting or dropping out, the feedback of each discriminator in the framework with some probability at the end of each batch. Our approach forces the single generator not to constrain its output to satisfy a single discriminator, but, instead, to satisfy a dynamic ensemble of discriminators. We show that this leads to a more generalized generator, promoting variety in the generated samples and avoiding the common mode collapse problem commonly experienced with generative adversarial networks (GANs). We further provide evidence that the proposed framework, named Dropout-GAN, promotes sample diversity both within and across epochs, eliminating mode collapse and stabilizing training.

研究の動機と目的

• 複数の識別器を活用することで、GAN におけるモード崩壊を動機づけて解決する。
• 対戦型ドロップアウトを導入して、バッチごとに変化するダイナミックなアンサンブルを作る。
• 様々なフィードバックがより多様な生成サンプルと安定性の向上につながることを示す。
• 複数のGANバリアントとデータセットに対する対戦型ドロップアウトの拡張性を示す。

提案手法

• GAN フレームワークを、単一の生成器にフィードバックを提供する K 個の識別器のセットへ拡張する。
• 各識別器からのフィードバックに確率 d でドロップアウトを適用し、生成器の更新が識別器のランダムなサブセットのみを使用するようにする。
• すべての識別器がドロップされた場合、学習信号を保つためにランダムに選択された単一の識別器を用いて生成器を更新する。
• 各識別器を独立して訓練し、それぞれ独自の勾配更新を維持する。
• MNIST、CIFAR-10、CelebA に渡って、K および d を変化させつつ、FID、Inception Score、および定性的分析でアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 動的な識別器アンサンブルに対する対戦型ドロップアウトは、GAN におけるモード崩壊を減らしますか？
• RQ2 識別器の数（K）とドロップアウト率（d）は、トレーニングの安定性とサンプルの多様性にどのように影響しますか？
• RQ3 既存の GAN バリアント（例：LSGAN、DRAGAN、modGAN）への一般的な拡張として、サイズの異なるデータセット全体で Dropout-GAN は有用ですか？

主な発見

• 対戦型ドロップアウトは MNIST、CIFAR-10、CelebA の跨いでサンプルの多様性を改善し、モード崩壊を減らします。
• 中間範囲のドロップアウト率（d ≈ 0.2–0.5）を、より大きな識別器アンサンブルと組み合わせると、いくつかのデータセットで最良の Fréchet Inception Distance (FID) を得る。
• 複数の識別器を用いる方が、FID と安定性の点で静的な単一識別器を一般的に上回る。
• Dropout-GAN は、報告された指標に基づいて、複数のデータセットで複数の GAN バリアント（LSGAN、DRAGAN、modGAN）を改善する。
• 2 個の識別器を用いた対戦型ドロップアウトで、CIFAR-10、STL-10、ImageNet で Inception Score が高くなる。