[論文レビュー] The GAN Landscape: Losses, Architectures, Regularization, and Normalization

Karol Kurach, Mario Lučić+3 more|arXiv (Cornell University)|Jun 5, 2018

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 124

ひとこと要約

この論文は、GANの学習環境について包括的な実験的調査を提供し、損失関数、アーキテクチャ、正則化、正規化手法を体系的に評価している。最先端の結果を再現し、一般的な学習の落とし穴を特定し、再現性を高めるためにコードと事前学習済みモデルを公開している。

ABSTRACT

Generative adversarial networks (GANs) are a class of deep generative models which aim to learn a target distribution in an unsupervised fashion. While they were successfully applied to many problems, training a GAN is a notoriously challenging task and requires a significant amount of hyperparameter tuning, neural architecture engineering, and a non-trivial amount of tricks. The success in many practical applications coupled with the lack of a measure to quantify the failure modes of GANs resulted in a plethora of proposed losses, regularization and normalization schemes, and neural architectures. In this work we take a sober view of the current state of GANs from a practical perspective. We reproduce the current state of the art and go beyond fairly exploring the GAN landscape. We discuss common pitfalls and reproducibility issues, open-source our code on Github, and provide pre-trained models on TensorFlow Hub.

研究の動機と目的

• 現在のGAN学習手法を体系的かつ再現可能に評価すること。
• GAN学習における一般的な失敗モードとハイパーパrameterの落とし穴を特定すること。
• 標準化されたプロトコルを用いて最先端のGAN性能のベンチマークを確立すること。
• TensorFlow Hubにコードと事前学習済みモデルを公開することで、再現性を促進すること。

提案手法

• 標準化された学習プロトコルのもとで、標準GAN、WGAN、ハングル損失、LS-GANを含む幅広いGAN損失関数を実験的に評価する。
• さまざまなニューラルネットワークアーキテクチャ、正規化層（BatchNorm、InstanceNorm、LayerNorm）、正則化手法を体系的にテストする。
• 異なるアーキテクチャと学習設定において、さまざまな正規化方式を適用し、比較する。
• 制御されたアブレーションスタディを用いて、各コンponentが学習安定性とサンプル品質に与える影響を分離して分析する。
• 標準化された学習手順を用いて、CIFAR-10およびCelebAデータセットで最先端の結果を再現する。
• GitHubおよびTensorFlow Hubにコードと事前学習済みモデルを公開し、透明性と再現性を確保する。

実験結果

リサーチクエスチョン

• RQ1 どのGAN損失関数が、さまざまなデータセットとアーキテクチャにおいて最も安定した学習と最高のサンプル品質を達成するか？
• RQ2 バッチ正規化、インスタンス正規化、レイヤー正規化といった異なる正規化層は、GAN学習の安定性とパフォーマンスにどのように影響を与えるか？
• RQ3 アーキテクチャの選択と正則化手法の影響は、GANの収束性とモードカバレッジにどのような影響を及えるか？
• RQ4 標準化された学習プロトコルを用いることで、最先端のGANパフォーマンスをどれほど一貫して再現できるか？
• RQ5 GAN学習における再現性の落とし穴として最も一般的なものは何か？また、それらはどのように緩和できるか？

主な発見

• GAN損失関数の選択は、学習安定性とサンプル品質に顕著な影響を与える。特に、ハングル損失とWGAN損失がCIFAR-10およびCelebAにおいて優れたパフォーマンスを示した。
• インスタンス正規化やレイヤー正規化といった正規化層は、特に小さなデータセットにおいてバッチ正規化を上回ることが多い。
• アーキテクチャの選択、特に残差接続や自己注意モジュールは、サンプルの多様性と忠実度を向上させる上で極めて重要である。
• 再現性はハイパーパrameterと学習プロトコルに極めて敏感であり、わずかな変更でもパフォーマンスに大きな差が出ることがある。
• 標準化された学習手順とオープンソースのコードの利用により、最先端の結果を一貫して再現可能である。
• TensorFlow Hubに公開された事前学習済みモデルは、ベンチマーク評価と後続のモデル適応を容易にする。