[論文レビュー] Which Training Methods for GANs do actually Converge?

Lars Mescheder, Andreas Geiger+1 more|arXiv (Cornell University)|Jan 13, 2018

Generative Adversarial Networks and Image Synthesis被引用数 606

ひとこと要約

この論文はGANの学習ダイナミクスを分析し、正則化されていないGANはデータ/生成器が多様体上にある場合には収束しない可能性があり、どの正則化項（インスタンスノイズ、ゼロ中心勾配ペナルティ）が局所収束を促進するかを示す。一方、WGANs/WGAN-GPは特定の更新方式で失敗する可能性がある。

ABSTRACT

Recent work has shown local convergence of GAN training for absolutely continuous data and generator distributions. In this paper, we show that the requirement of absolute continuity is necessary: we describe a simple yet prototypical counterexample showing that in the more realistic case of distributions that are not absolutely continuous, unregularized GAN training is not always convergent. Furthermore, we discuss regularization strategies that were recently proposed to stabilize GAN training. Our analysis shows that GAN training with instance noise or zero-centered gradient penalties converges. On the other hand, we show that Wasserstein-GANs and WGAN-GP with a finite number of discriminator updates per generator update do not always converge to the equilibrium point. We discuss these results, leading us to a new explanation for the stability problems of GAN training. Based on our analysis, we extend our convergence results to more general GANs and prove local convergence for simplified gradient penalties even if the generator and data distribution lie on lower dimensional manifolds. We find these penalties to work well in practice and use them to learn high-resolution generative image models for a variety of datasets with little hyperparameter tuning.

研究の動機と目的

• GAN訓練が一般的な（絶対連続でない）データ分布と生成器分布の下で収束するかを評価する。
• 正則化戦略が単純な設定と現実的なGAN設定での収束にどのように影響するかを評価する。
• 証明可能な局所収束保証を伴う単純化された勾配ペナルティを提案する。
• 高解像度画像生成の実用的な影響を理解するため、GAN訓練における不安定性の原因を分析する。

提案手法

• 最小の反例としてDirac-GANを導入してGAN訓練の収束性を分析する。
• 各学習スキームにおける平衡点で勾配場のヤコビ行列の固有値を解析する。
• インスタンスノイズ、ゼロ中心勾配ペナルティ、コンセンサス最適化などいくつかの正則化技術を検討し、それらが局所収束に与える影響を導出する。
• 簡略化された勾配ペナルティの形式を導出し、特定の仮定の下で局所収束を証明する。
• 低次元の多様体上の分布を持つより一般的なGANへ収束分析を拡張する。
• 2Dおよび画像ドメインの実験を行い、手法間の収束挙動を比較する。

実験結果

リサーチクエスチョン

• RQ1 データ分布と生成器分布が低次元多様体上にある場合、正則化されていないGANは収束するか。
• RQ2 どの正則化技術がGAN訓練で局所収束を回復させるか。
• RQ3 WassersteinベースのGANと勾配ペナルティ付き変種はどの条件で収束/収束しないか。
• RQ4 簡略化された勾配ペナルティはより一般的なGANで証明可能な収束を提供できるか。
• RQ5 Dirac-GANから高次元の画像生成タスクへ収束特性はどのように伝わるか。

主な発見

• 正則化なしのGAN訓練は、多様体で支えられた分布を持つ一般的なケースでは収束しない可能性がある。
• Dirac-GAN に対して、ディスクリミネータ更新の固定回数でのWGANおよびWGAN-GPは必ずしも収束しない。
• インスタンスノイズとゼロ中心勾配ペナルティはDirac-GANにおいて局所収束を誘発する。
• 簡略化された形式の勾配ペナルティは、適切な仮定の下で平衡点近傍で局所収束を達成できる。
• 正則化されたペナルティは、生成分布とデータ分布が低次元の多様体上にあるGANへ収束結果を拡張する。
• 経験的結果としてR1/R2勾配ペナルティは訓練を安定化させ、高解像度画像生成を実現するのにハイパーパラメータ調整を限定的に済ませられる。