[論文レビュー] Smoothness and Stability in GANs

Casey Chu, Kentaro Minami+1 more|arXiv (Cornell University)|Feb 11, 2020

Model Reduction and Neural Networks参考文献 45被引用数 20

ひとこと要約

本稿は、GANの損失関数の滑らかさと学習安定性の間の理論的枠組みを構築し、勾配降下法による生成器の最適化が、損失関数と生成器アーキテクチャが特定の滑らかさ条件を満たす場合にのみ定常点に収束することを示している。安定性のための条件を導出し、勾配ペナルティやスペクトル正規化といった一般的なGAN技術がなぜ有効であるかを説明するとともに、すべての滑らかさ要件を満たす新たなGANを、再生核ヒルベルト空間（RKHS）を用いて提案し、安定性の向上を達成した。

ABSTRACT

Generative adversarial networks, or GANs, commonly display unstable behavior during training. In this work, we develop a principled theoretical framework for understanding the stability of various types of GANs. In particular, we derive conditions that guarantee eventual stationarity of the generator when it is trained with gradient descent, conditions that must be satisfied by the divergence that is minimized by the GAN and the generator's architecture. We find that existing GAN variants satisfy some, but not all, of these conditions. Using tools from convex analysis, optimal transport, and reproducing kernels, we construct a GAN that fulfills these conditions simultaneously. In the process, we explain and clarify the need for various existing GAN stabilization techniques, including Lipschitz constraints, gradient penalties, and smooth activation functions.

研究の動機と目的

• 正則化手法が広く用いられているにもかかわらず、GAN学習の不安定性の背後にある理論的謎を解明すること。
• 勾配降下法による定常点への収束を保証するための、GAN損失関数および生成器アーキテクチャにおける正確な滑らかさ条件を同定すること。
• 勾配ペナルティやスペクトル正規化といった既存の安定化手法の有効性を、一つの理論的枠組みで統一的に説明すること。
• 導出されたすべての滑らかさ条件を満たす新規なGANバージョンを構築し、安定した学習を保証すること。

提案手法

• GAN学習を生成器の目的関数 $ J(\mu_\theta) = \sup_\varphi \mathcal{J}(\mu_\theta, \varphi) $ における勾配降下法として形式化し、ミニマックス問題を単一最適化問題に還元する。
• 凸解析および最適輸送の道具を用いて、$ J(\mu_\theta) $ が $ L $-滑らかであるための十分条件を導出し、勾配降下法の安定性を保証する。
• ガウスカーネルを用いた再生核ヒルベルト空間（RKHS）を用いて、すべての滑らかさ条件を満たす損失関数を構築し、理論的収束保証を可能にする。
• 生成器の出力分布に対してRKHSノルムによるペナルティを導入した正則化GAN目的関数を提案し、生成器のパrameterizationにおける滑らかさを強制する。
• RKHSノルムペナルティの凸共役を導出し、実用的かつ理論的解析可能な最適化を可能にする。
• 数値的安定性と理論的扱いやすさを考慮し、次元に依存しないカーネル $ K(x,y) = e^{-\pi \|x-y\|^2} $ を提案する。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法が定常点に収束するための、GAN損失関数および生成器アーキテクチャにおける必要十分な滑らかさ条件は何か？
• RQ2 勾配ペナルティやスペクトル正規化といった一般的なGAN正則化手法が、目的が重複するにもかかわらず、なぜ学習安定性を向上させるのか？
• RQ3 すべての滑らかさ条件を満たすGANを構築可能か？ その場合、安定な学習が保証される。
• RQ4 WGAN やスペクトル正規化付きGAN といった既存のGANバージョンは、提案された滑らかさ枠組みとどのように関係しているか？

主な発見

• WGAN や標準GANを含む大多数の標準GAN損失関数は、安定な勾配降下法のためのすべての滑らかさ条件を満たさず、これが実験的不安定性の理由である。
• RKHSに基づくペナルティを用いた提案されたGANは、完全な滑らかさを満たし、生成器における勾配降下法が定常点に収束することを保証する。
• 勾配ペナルティとスペクトル正規化が有効であるのは、安定性に必要な滑らかさ条件を強制するからであり、これにより一元的な理論的説明が可能となる。
• 滑らかな活性化関数の使用は、理論的に正当化され、生成器の出力分布の滑らかさを維持するのを助ける。
• スペクトル正規化と勾配ペナルティを同時に適用することは、それぞれを別々に適用するよりも効果的であることが示され、滑らかさ条件の異なる側面を共同で強制するからである。
• ガウスカーネルのための重要なパラメータ $ \sigma = (2\pi)^{-1/2} $ が、数値的安定性と理論的一致性を確保するため推奨される。