[論文レビュー] Progressive Growing of GANs for Improved Quality, Stability, and Variation

Tero Karras, Timo Aila+2 more|arXiv (Cornell University)|Oct 27, 2017

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 1,557

ひとこと要約

この論文は、低解像度から高解像度へとGANの生成器と識別器の双方を段階的に拡大するprogressive growingを導入し、画像品質、学習安定性、バリエーションを改善し、CelebA、LSUN、CIFAR-10で強い結果を示します。

ABSTRACT

We describe a new training methodology for generative adversarial networks. The key idea is to grow both the generator and discriminator progressively: starting from a low resolution, we add new layers that model increasingly fine details as training progresses. This both speeds the training up and greatly stabilizes it, allowing us to produce images of unprecedented quality, e.g., CelebA images at 1024^2. We also propose a simple way to increase the variation in generated images, and achieve a record inception score of 8.80 in unsupervised CIFAR10. Additionally, we describe several implementation details that are important for discouraging unhealthy competition between the generator and discriminator. Finally, we suggest a new metric for evaluating GAN results, both in terms of image quality and variation. As an additional contribution, we construct a higher-quality version of the CelebA dataset.

研究の動機と目的

• 高解像度画像の合成のためにGANを安定化させるGAN訓練法の動機づけ。
• 粗い表現から細かな表現への学習を可能にするよう、生成器と識別器を段階的に成長させる手法を提案。
• 訓練中のモード崩壊を防ぎつつ出力の多様性を高める。
• 生成器と識別器の力関係を均衡させるための正規化技術と訓練戦略を導入。
• スケールを超えた画像品質と多様性の双方を捉える評価指標を提供。

提案手法

• 4x4 から開始し、訓練中に層を追加して徐々に高解像度へ成長させ、層をフェードインすることで生成器と識別器を段階的に拡大する。
• GとDが対称となる共通のアーキテクチャを用い、同時に成長させる。
• 訓練中に層ごとの重みスケールを標準化するために等化学習率を適用する。
• 生成器内でピクセルごとの特徴ベクトル正規化を適用し、振幅を制約して訓練を安定化させる。
• 識別器にミニバッチ標準偏差を導入して出力の多様性を高める。
• WGAN-GPまたはLS GAN損失を用いて評価し、ラプラシアンピラミッドとスライスされたワッサースタイン距離に基づくマルチスケール統計的類似度指標を導入する。

実験結果

リサーチクエスチョン

• RQ1 進行的成長はGANの訓練を安定化し、高解像度の画像合成を可能にするか？
• RQ2 モード崩壊を避けつつ生成画像の多様性を最も効果的に促進する手法は何か？
• RQ3 異なる正規化と初期化戦略がGANの訓練ダイナミクスと収束にどのような影響を与えるか？
• RQ4 単一のGANアーキテクチャで複数のデータセットと解像度に対して高忠実度と多様な出力の両立が達成できるか？
• RQ5 GANの品質とスケール間の多様性を最も適切に捉える指標は何か？

主な発見

• Progressive growing は訓練を大幅に高速化し安定性を向上させ、メガピクセル規模の画像合成を可能にする。
• このアプローチは CelebA の高品質な 1024x1024 画像と、256x256 で競争力のある LSUN 結果を達成。
• CIFAR-10 では、教師なし Inception Score が 8.80 へ改善され、従来の教師なし結果を上回る。
• 識別器に追加の学習可能パラメータを増やすことなく、単純なミニバッチ標準偏差層が多様性を改善。
• 等化学習率とピクセルごとの特徴ベクトル正規化は信号の過度な増幅を抑え、訓練を安定化させる。
• マルチスケール統計的類似度（SWD）指標は、定性的な改善と一致する分布的類似性の改善を示す。