[論文レビュー] A Systematic Survey of Regularization and Normalization in GANs

Ziqiang Li, Muhammad Usman+5 more|arXiv (Cornell University)|Aug 19, 2020

Generative Adversarial Networks and Image Synthesis参考文献 139被引用数 13

ひとこと要約

本稿は、生成対抗ネットワーク（GAN）における正則化および正規化手法について包括的なサーベイを提示し、''本物と偽物''、''分布の適合''、''訓練ダイナミクス''の3つの訓練視点に基づく、新しい分類法を提案する。本稿は、データセットをまたいで主流の手法の目的、メカニズム、パフォーマンスを体系的に分析し、訓練の安定化とGAN性能の向上におけるその役割を強調している。特に、StyleGAN や BigGAN などの最先端モデルへの応用が示されている。

ABSTRACT

Generative Adversarial Networks (GANs) have been widely applied in different scenarios thanks to the development of deep neural networks. The original GAN was proposed based on the non-parametric assumption of the infinite capacity of networks. However, it is still unknown whether GANs can fit the target distribution without any prior information. Due to the overconfident assumption, many issues remain unaddressed in GANs' training, such as non-convergence, mode collapses, gradient vanishing. Regularization and normalization are common methods of introducing prior information to stabilize training and improve discrimination. Although a handful number of regularization and normalization methods have been proposed for GANs, to the best of our knowledge, there exists no comprehensive survey that primarily focuses on objectives and development of these methods, apart from some in-comprehensive and limited scope studies. In this work, we conduct a comprehensive survey on the regularization and normalization techniques from different perspectives of GANs training. First, we systematically describe different perspectives of GANs training and thus obtain the different objectives of regularization and normalization. Based on these objectives, we propose a new taxonomy. Furthermore, we compare the performance of the mainstream methods on different datasets and investigate the applications of regularization and normalization techniques that have been frequently employed in state-of-the-art GANs. Finally, we highlight potential future directions of research in this domain. Code and studies related to the regularization and normalization of GANs in this work is summarized on https://github.com/iceli1007/GANs-Regularization-Review.

研究の動機と目的

• GANにおける正則化および正規化手法に特化した包括的かつ体系的なサーベイが不足しているという問題に取り組むこと。
• GAN訓練を''本物と偽物''、''分布の適合''、''訓練ダイナミクス''の3つの根幹的視点から分析することで、正則化および正規化の明確な目的を特定・形式化すること。
• それらの訓練目的およびメカニズムに基づいて、既存の手法を統一した分類法に整理すること。
• 複数のベンチマークデータセットを用いた、主流の正則化および正規化手法のパフォーマンスを実験的に比較すること。
• これらの手法が最先端のGANアーキテクチャにどのように統合されているかを強調し、今後の研究における未解決の課題を特定すること。

提案手法

• ''本物と偽物''（識別器損失に基づく）、''分布の適合''（分布の乖離最小化）、''訓練ダイナミクス''（最適化ダイナミクスの安定化）の3つの訓練視点に基づき、GANにおける正則化および正規化のための新しい分類法を提案する。
• 提案された分類法の下で既存の手法を体系的に分類し、理論的動機および設計目的を分析する。
• 標準データセット（例：CIFAR-10、CelebA、LSUN）上で正則化および正規化手法の定量的比較を実施し、FID や IS などの指標を評価する。
• PGGAN、BigGAN、StyleGAN2-ADA、StyleGAN-XL などの最先端GANにおけるこれらの手法の統合をレビュー・要約する。
• 再現可能性およびコミュニティ利用を目的として、正則化および正規化に関するコードと研究を収録したキュレート済みリポジトリ（GitHub）を提供する。
• 自己教師学習およびデータ拡張が、正則化および正規化とは直交的だが補完的戦略であることを分析する。

実験結果

リサーチクエスチョン

• RQ1 ''本物と偽物''、''分布の適合''、''訓練ダイナミクス''のレンズを通して見た場合、GANにおける正則化および正規化手法の明確な訓練目的は何か？
• RQ2 多様なデータセットおよびアーキテクチャを想定した場合、FID、IS、および訓練安定性という観点から、異なる正則化および正規化手法はどのように比較されるか？
• RQ3 最先端のGANモデルに最も頻繁に統合され、かつ効果的に機能している正則化および正規化手法は何か。その理由は何か？
• RQ4 モード崩壊、勾配消失、本物画像の忘却といったGAN訓練における主な課題は何か。正則化および正規化は、それらの問題をどのように解決しようとしているか？
• RQ5 正則化および正規化の改善によってGANの訓練安定性および一般化性能を向上させるために、今後の研究で最も有望な方向性は何か？

主な発見

• 提案された分類法は、手法の背後にある訓練目的に基づき、多様な正則化および正規化手法を体系的に整理し、手法選定および開発のための明確なフレームワークを提供している。
• 勾配ペナルティ（例：WGAN-GP）およびスペクトル正規化は、複数のベンチマークで顕著にFIDスコアを向上させるとともに、訓練安定性を大幅に向上させる、最も効果的かつ広く採用されている手法の一つである。
• インスタンス正規化（IN）や条件付きバッチ正規化（CBN）といった正規化手法は、StyleGAN2-ADA や StyleGAN-XL などの高精細度生成モデルにおいて極めて重要である。
• 自己教師的対照学習および適応的データ拡張は、現代のGAN（例：InsGen、StyleGAN2-ADA）において、識別器の一般化性能を向上させ、過学習を軽減するためにますます多く用いられている。
• 本物画像の忘却——間接的監視のため、生成器が本物画像の特徴を保持できなくなる現象——は、重要な課題であるが、まだ十分に研究が進んでいない。これにより、新たな正則化戦略の必要性が示唆される。
• 本研究では、多くの手法が訓練ダイナミクスを改善している一方で、どの手法も普遍的に優れているわけではないことが判明した。最良の選択肢は、特定のGANアーキテクチャ、データセット、および訓練目的に依存する。