[論文レビュー] A Large-Scale Study on Regularization and Normalization in GANs

Karol Kurach, Mario Lučić+3 more|arXiv (Cornell University)|Jul 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 31

ひとこと要約

本研究は、複数のデータセットおよびアーキテクチャを対象とした大規模な実験的評価を通じて、GANにおける正則化および正規化手法の有効性を検証した。非飽和GAN損失とスペクトル正規化を組み合わせることで、標準的に安定かつ高品質な結果が得られ、十分な計算リソースが確保できる場合には勾配ペナルティを追加することで性能がさらに向上することがわかった。本研究では再現性の向上とベンチマーク評価の促進を目的として、オープンソースのコードと事前学習済みモデルを提供している。

ABSTRACT

Generative adversarial networks (GANs) are a class of deep generative models which aim to learn a target distribution in an unsupervised fashion. While they were successfully applied to many problems, training a GAN is a notoriously challenging task and requires a significant number of hyperparameter tuning, neural architecture engineering, and a non-trivial amount of "tricks". The success in many practical applications coupled with the lack of a measure to quantify the failure modes of GANs resulted in a plethora of proposed losses, regularization and normalization schemes, as well as neural architectures. In this work we take a sober view of the current state of GANs from a practical perspective. We discuss and evaluate common pitfalls and reproducibility issues, open-source our code on Github, and provide pre-trained models on TensorFlow Hub.

研究の動機と目的

• 多様なデータセットおよびアーキテクチャを対象とした、GANにおける正則化および正規化手法の包括的な実験的評価を実施すること。
• 新しいデータセットに対してGANを学習する際の、損失関数、正規化手法、アーキテクチャ選択の最適な組み合わせを特定すること。
• データセットの前処理、非決定的動作、実装のギャップといった、GAN研究における一般的な再現性の問題を解決すること。
• 今後のGAN研究の信頼できるベースラインとして機能する、オープンソースの参考実装および事前学習済みモデルを提供すること。

提案手法

• CIFAR-10、ImageNetなど複数の大規模データセットを対象に、文献に報告された設定と逐次ベイズ最適化を用いたハイパーパramータ最適化を実施した。
• 非飽和GAN、ミニマックスGAN、WGAN、最小二乗GANの4つの主な損失関数を評価し、FIDおよびISスコアへの影響を測定した。
• 勾配ペナルティ（GP）とスペクトル正規化（SN）の2つの主要な正則化手法をテストし、訓練の安定性および生成画像品質への影響を評価した。
• すべての設定において、ResNetスタイルとプログレッシブグローニングアーキテクチャの2つの代表的なニューラルネットワークアーキテクチャを比較し、アーキテクチャの頑健性を評価した。
• データ前処理（クロップやアップスケーリングなど）の影響を体系的に分析し、再現性に影響を与える不整合要因を同定した。
• GPUレベルのランダムネスがスコアの一貫性に与える影響を検討し、非決定的トレーニングを是正するための決定論的トレーニングの実践を提言した。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットにおいて、どの損失関数、正規化手法、アーキテクチャの組み合わせが最も安定的かつ高品質なGAN学習を実現するか？
• RQ2 勾配ペナルティとスペクトル正規化は、高容量GANにおける訓練の安定性および生成品質にどのように影響を与えるか？
• RQ3 クロップやアップスケーリングなどの異なるデータ前処理戦略は、再現性およびモデル性能にどの程度の影響を与えるか？
• RQ4 GAN学習における主な非決定的要因は何か。それらは過度な計算コストを伴わずにどのように是正できるか？
• RQ5 本研究の大規模な調査結果は、より複雑なアーキテクチャや条件付きGANの設定へ一般化可能か？

主な発見

• 非飽和GAN損失は、評価されたすべてのデータセットおよびハイパーパramータ設定において優れた安定性と一貫性のある性能を示した。
• スペクトル正規化は、特に高容量アーキテクチャにおいて訓練の安定性と生成品質を顕著に向上させ、標準的な選択肢として推奨されるべきである。
• 十分な計算リソースが確保できる場合には、勾配ペナルティを追加することで性能がさらに向上し、特に非飽和GAN損失と組み合わせた場合に顕著であった。
• ResNetスタイルおよびプログレッシブグローニングアーキテクチャの両方とも強力な性能を発揮したが、標準的な設計を超えるアーキテクチャの変更による向上は限定的であった。
• 再現性は、不一致したデータ前処理、実装詳細の欠落、非決定的トレーニング動作の影響を受けることが頻繁に確認された。
• 本研究では、実装の不一致とコード共有の欠如が、GAN手法間の公平かつ正確な比較を妨げる主要な障壁であると同定した。