[論文レビュー] Progressive Augmentation of GANs

Dan Zhang, Anna Khoreva|arXiv (Cornell University)|Jan 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 10

ひとこと要約

本稿では、ランダムなビットを入力空間または特徴空間に構造的に追加することで、段階的に識別器のタスクの難易度を高める正則化手法である Progressive Augmentation of GANs (PA-GAN) を提案する。これにより、識別器の過信を防ぎ、生成器に対する意味のある勾配を維持し、訓練の安定性と性能を向上させ、複数のベンチマークで平均して約3ポイントのFID向上を達成する。

ABSTRACT

Training of Generative Adversarial Networks (GANs) is notoriously fragile, requiring to maintain a careful balance between the generator and the discriminator in order to perform well. To mitigate this issue we introduce a new regularization technique - progressive augmentation of GANs (PA-GAN). The key idea is to gradually increase the task difficulty of the discriminator by progressively augmenting its input or feature space, thus enabling continuous learning of the generator. We show that the proposed progressive augmentation preserves the original GAN objective, does not compromise the discriminator's optimality and encourages a healthy competition between the generator and discriminator, leading to the better-performing generator. We experimentally demonstrate the effectiveness of PA-GAN across different architectures and on multiple benchmarks for the image synthesis task, on average achieving ~3 point improvement of the FID score.

研究の動機と目的

• 識別器の過信と勾配の消失が原因で生じるGAN訓練の不安定性を解消すること。
• 訓練全体を通じて生成器と識別器の健全でダイナミックな競争を維持すること。
• 元のGANの目的関数を保ち、識別器の最適性にバイアスをかけない正則化手法を導入すること。
• アーキテクチャの変更なしに生成器の性能を向上させ、識別器の最適性を損なわないこと。
• 既存のGANアーキテクチャおよび正則化手法と広く互換性を持つこと。

提案手法

• PA-GANは、ランダムなバイナリービットを識別器の入力または中間特徴表現に段階的に追加することで、入力空間または特徴空間を拡張する。
• 拡張された入力は、元のデータまたは特徴とランダムビットの組み合わせから構成され、より複雑な識別タスクを形成する。
• 拡張されたサンプルのラベルは、元のデータとランダムビットの組み合わせに基づいて決定され、実サンプルと偽サンプルが両方のクラスに埋め込まれる。
• 訓練中に段階的に増幅レベルを高め、タスクの難易度を体系的に向上させる。
• この手法は既存の正則化手法と直交しており、ラベルスムージング、勾配ペナルティ、自己教師学習などと組み合わせて使用可能である。
• 最小限のアーキテクチャ変更で実装され、SN DCGAN や SA GAN などの既存のGANフレームワークにスムーズに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 識別器の入力空間または特徴空間に対する段階的増幅は、GANの訓練安定性を向上させることができるか？
• RQ2 PA-GANは、識別器の過信を防ぎつつ、元のGANの目的関数を保ち続けられるか？
• RQ3 PA-GANは、アーキテクチャの変更やラベルの監督を必要とせずにFIDスコアを向上させることができるか？
• RQ4 PA-GANは、勾配ペナルティやラベルスムージングなどの他の正則化手法とどのように相互作用するか？
• RQ5 PA-GANは、ラベル監督を用いた大規模な教師付きGAN（例：BigGAN）と同等の性能を、非教師付き設定で達成できるか？

主な発見

• PA-GANは、Fashion-MNIST、CIFAR10、CELEBA-HQ、Tiny-ImageNetなど複数のベンチマークで平均して約3 FIDポイントの向上を達成した。
• CIFAR10では、PA-GANをSS-GANと組み合わせることで、非教師付き設定でSOTAのFID14.7を達成し、ラベル監督を用いたBigGANと同等の性能を再現した。
• 理論的に、元のGANの目的関数が保たれ、識別器の最適性にバイアスがかからないことが証明された。
• PA-GANは、識別器の過信を防ぎ、生成器に対する有用な勾配を維持することで、訓練ダイナミクスを改善した。
• この手法は、SN DCGAN や SA GAN といった異なるアーキテクチャで有効であり、ラベルスムージング、勾配ペナルティ、ドロップアウトなどの他の正則化手法と組み合わせて使用可能である。
• 増幅レベルの段階的増加により、損失関数の形状に急激な変化が生じず、安定的で連続的な学習プロセスが確保された。