[論文レビュー] On the convergence properties of GAN training.

Lars Mescheder|arXiv (Cornell University)|Jan 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 1被引用数 34

ひとこと要約

この論文は、データ分布と生成器分布が絶対連続でない場合、正則化なしのGAN学習が収束に失敗することを示し、その根本的原因が勾配ベクトル場のヤコビ行列における純虚数固有値に起因することを特定している。正則化としてインスタンスノイズや勾配ペナルティを用いることで局所的収束が回復することを示し、より単純化された勾配ペナルティを提案し、同様の収束特性を持つことを示している。

ABSTRACT

Recent work has shown local convergence of GAN training for absolutely continuous data and generator distributions. In this note we show that the requirement of absolute continuity is necessary: we describe a simple yet prototypical counterexample showing that in the more realistic case of distributions that are not absolutely continuous, unregularized GAN training is generally not convergent. Furthermore, we discuss recent regularization strategies that were proposed to stabilize GAN training. Our analysis shows that while GAN training with instance noise or gradient penalties converges, Wasserstein-GANs and Wasserstein-GANs-GP with a finite number of discriminator updates per generator update do in general not converge to the equilibrium point. We explain these results and show that both instance noise and gradient penalties constitute solutions to the problem of purely imaginary eigenvalues of the Jacobian of the gradient vector field. Based on our analysis, we also propose a simplified gradient penalty with the same effects on local convergence as more complicated penalties.

研究の動機と目的

• 絶対連続でない分布におけるGAN学習の収束特性を調査すること。
• 現実的で絶対連続でないデータ分布において、標準GAN学習がなぜ収束しないのかを特定すること。
• インスタンスノイズや勾配ペナルティといった正則化戦略の収束回復効果を分析すること。
• 有限回のディスクライマーターキャップを伴うWasserstein-GANやWGAN-GPがなぜ均衡に収束しないのかを説明すること。
• より複雑な手法と同等の効果を持つ、簡素化された勾配ペナルティを提案すること。

提案手法

• 絶対連続でない分布を有する典型的な反例を構築し、正則化なしのGAN学習が収束しないことを示した。
• GAN学習のダイナミクスにおける勾配ベクトル場のヤコビ行列を分析し、不安定性の根本的原因として純虚数固有値を同定した。
• インスタンスノイズや勾配ペナルティといった正則化手法が固有値構造に与える影響を評価し、その安定化効果を説明した。
• 有限回のディスクライマーターキャップを伴う標準GAN、WGAN、WGAN-GPの収束行動を導出し、比較した。
• 複雑なペナルティと同等の固有値補正を狙った、簡素化された勾配ペナルティを提案した。

実験結果

リサーチクエスチョン

• RQ1 データ分布と生成器分布が絶対連続でない場合、正則化なしのGAN学習は収束するか？
• RQ2 なぜ標準GANは現実的で絶対連続でない設定において収束しないのか？
• RQ3 インスタンスノイズや勾配ペナルティは、力学系の観点からGAN学習をどのように安定化させるのか？
• RQ4 有限回のディスクライマーターキャップを伴うWGANやWGAN-GPはなぜ均衡に収束しないのか？
• RQ5 簡素化された勾配ペナルティは、より複雑な正則化手法と同等の収束特性を達成できるか？

主な発見

• 絶対連続でない分布では、典型的な反例によって正則化なしのGAN学習が収束しないことが示された。
• GAN学習の不安定性は、勾配ベクトル場のヤコビ行列における純虚数固有値に起因する。
• インスタンスノイズや勾配ペナルティは、これらの純虚数固有値を除去することで学習を安定化させる。
• 有限回のディスクライマーターキャップを伴うWasserstein-GANやWGAN-GPは、均衡点に収束しない。
• 複雑なペナルティと同等の収束行動を再現する、簡素化された勾配ペナルティが提案された。