[論文レビュー] Pioneer Networks: Progressively Growing Generative Autoencoder

Ari Heljakka, Arno Solin+1 more|arXiv (Cornell University)|Jul 9, 2018

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

この論文では、別個の GAN 判別器を必要とせず、128×128 解像度で最先端の画像再構築と合成を達成するプログレッシブな生成自己オートエンコーダー、PIONEER を提案する。一貫したエンコーダー・ジェネレータ枠組み内でプログレッシブな成長と敵対的損失および再構築損失を統合することで、高精細な画像再構築、滑らかな潜在空間内挿補、スペクトル正規化を用いた単一で安定した学習目的による高品質な生成が可能になる。

ABSTRACT

We introduce a novel generative autoencoder network model that learns to encode and reconstruct images with high quality and resolution, and supports smooth random sampling from the latent space of the encoder. Generative adversarial networks (GANs) are known for their ability to simulate random high-quality images, but they cannot reconstruct existing images. Previous works have attempted to extend GANs to support such inference but, so far, have not delivered satisfactory high-quality results. Instead, we propose the Progressively Growing Generative Autoencoder (PIONEER) network which achieves high-quality reconstruction with $128{ imes}128$ images without requiring a GAN discriminator. We merge recent techniques for progressively building up the parts of the network with the recently introduced adversarial encoder-generator network. The ability to reconstruct input images is crucial in many real-world applications, and allows for precise intelligent manipulation of existing images. We show promising results in image synthesis and inference, with state-of-the-art results in CelebA inference tasks.

研究の動機と目的

• 生成品質は高いが、既存の画像を再構築できない GAN の推論能力の欠如に対処する。
• ProgGAN らような最先端の GAN の知覚的品質に匹敵できない variational autoencoders (VAEs) や GAN-VAE ハイブリッドの限界を克服する。
• 高精細な画像再構築と滑らかな潜在空間からの高品質なランダムサンプリングを両立できる統合的生成自己オートエンコーダーを開発する。
• エンコーダーとジェネレータの両方のネットワークに対するプログレッシブな訓練を可能にし、学習の安定性を高め、高解像度での性能を向上させる。
• 敵対的訓練を統合的自己オートエンコーダー枠組みで行う場合、別個の判別器が不要であることを実証する。

提案手法

• エンコーダーとジェネレータの両方のネットワークに対して、低解像度の特徴から始め、段階的にレイヤーを追加するプログレッシブな成長訓練スケジュールを提案する。
• 画像空間における再構築損失（L2）と、ジェネレータ出力を実データとして用いる潜在空間における敵対的損失を統合した損失関数を用いて、エンコーダーとジェネレータを同時に訓練する。
• 学習の安定化とモード崩壊の回避のため、スペクトル正規化を適用し、別個の判別器ネットワークの必要性を排除する。
• 推論（実画像の符号化）と生成（潜在空間からのサンプリング）の両方のために同一の潜在空間を用い、滑らかな内挿補を可能にする。
• クラスラベルを一切使用せずに、CelebA や CelebA-HQ などのデータセット上で完全に教師なしにモデルを訓練する。
• 固定されたアーキテクチャと最小限のハイパーパramータチューニングで訓練プロセスを最適化し、解像度段階ごとのエポック数のみを調整する。

実験結果

リサーチクエスチョン

• RQ1 別個の GAN 判別器を必要とせず、128×128 解像度で高品質な画像再構築と合成を達成できる生成自己オートエンコーダーは存在するか？
• RQ2 エンコーダーとジェネレータの両方のプログレッシブな成長は、標準的な自己オートエンコーダーと比較して、学習の安定性と再構築品質を向上させるか？
• RQ3 モデルは、未学習のテスト画像ペairの間で滑らかな潜在空間内挿補を可能とするか？これは、分離可能で連続的な表現を示唆する。
• RQ4 高解像度における FID と再構築品質の観点から、提案手法の性能は最先端の GAN や自己オートエンコーダーと比較してどうなるか？
• RQ5 統合的自己オートエンコーダー設定において、スペクトル正規化は学習の安定化を図り、判別器の必要性を排除するのに十分か？

主な発見

• PIONEER モデルは、128×128 解像度で CelebA において、従来の自己オートエンコーダーに基づく手法を上回る最先端の画像再構築品質を達成した。
• モデルは、入力画像と訓練セットの類似画像との間で密接に一致する質の高い詳細な再構築画像を生成した。
• 128×128 解像度において、LSUN ベッドルームデータセットで 37.50 の Fréchet Inception Distance (FID) を達成し、完全に教師なしに学習されたにもかかわらず、優れた生成品質を示した。
• 未学習のテスト画像ペアの潜在ベクトル間で滑らかな内挿補が可能であり、明示的な教師信号を必要とせず、連続的かつ分離可能な潜在空間を示した。
• 256×256 解像度でも高品質で多様なサンプルを生成でき、128×128 を超えるスケーラビリティを示したが、本研究ではこれらの解像度での訓練は完全に完了していない。
• 単一の統合損失とスペクトル正規化を用いることで、別個の判別器を必要とせず、より単純なアーキテクチャで最先端の純粋生成モデルと同等の性能を達成した。