[論文レビュー] Improved Training of Wasserstein GANs

Ishaan Gulrajani, Faruk Ahmed+3 more|arXiv (Cornell University)|Mar 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 1,510

ひとこと要約

この論文は WGAN における weight clipping を gradient penalty に置換し、 Lipschitz 性を保証することで、さまざまなアーキテクチャにわたる安定した訓練を可能にし、CIFAR-10 と LSUN bedrooms で高品質なサンプルを実現する。

ABSTRACT

Generative Adversarial Networks (GANs) are powerful generative models, but suffer from training instability. The recently proposed Wasserstein GAN (WGAN) makes progress toward stable training of GANs, but sometimes can still generate only low-quality samples or fail to converge. We find that these problems are often due to the use of weight clipping in WGAN to enforce a Lipschitz constraint on the critic, which can lead to undesired behavior. We propose an alternative to clipping weights: penalize the norm of gradient of the critic with respect to its input. Our proposed method performs better than standard WGAN and enables stable training of a wide variety of GAN architectures with almost no hyperparameter tuning, including 101-layer ResNets and language models over discrete data. We also achieve high quality generations on CIFAR-10 and LSUN bedrooms.

研究の動機と目的

• WGAN における weight clipping が引き起こす問題を実証する。
• リ Lipschitz 性を強制する勾配ペナルティ（WGAN-GP）を提案する。
• 多様なアーキテクチャとデータセットで安定した訓練を示す。
• CIFAR-10 および LSUN bedrooms で高品質なサンプル生成を達成する。
• 連続的な生成器で離散データのモデリングを実現する。

提案手法

• 実在データと生成データ間の直線上に沿って適用される批評家の入力勾配に対する勾配ペナルティを導入する。
• 批評家損失に λ(∥∇x̂D(x̂)∥2 − 1)2 というペナルティ項を用いて、 differentiable な soft Lipschitz 制約を定式化する。
• Pr と Pg の直線上の任意点 x̂ を一様にサンプルし、最適な批評家が単位勾配ノルムをとると期待される箇所で勾配ノルム制約を課す。
• 個々のサンプルごとの勾配ペナルティを維持するために批評家のバッチ正規化を省略する。
• 勾配ノルムを 1 に近づける双方向ペナルティを採用し、λ = 10 をすべての実験で使用する。
• WGAN-GP に推奨されるハイパーパラメータを用いた Adam で訓練し、weight clipping および DCGAN と比較する。

実験結果

リサーチクエスチョン

• RQ1 勾配クリッピングは WGAN の批評家における不安定性とアンダーフィットを引き起こすのか。
• RQ2 勾配ペナルティは批評家に対してより安定的でスケーラブルな Lipschitz 制約を提供できるのか。
• RQ3 CIFAR-10 や LSUN などのデータセットに対して提案された勾配ペナルティの下で様々な GAN アーキテクチャが訓練可能か。
• RQ4 WGAN-GP は weight clipping および DCGAN と比較してサンプル品質と訓練速度の点でどうか。
• RQ5 方法は連続的な生成器で離散的なデータ様のモデリングを可能にするのか。

主な発見

• 勾配ペナルティは weight clipping によって見られるアンダーフィットと不安定な勾配挙動を回避する。
• WGAN-GP は深い ResNet を含む広範なアーキテクチャを最小限のハイパーパラメータ調整で訓練できる。
• CIFAR-10 では WGAN-GP が早期収束し Inception スコアが DCGAN に対して競争力を持つ；勾配ペナルティを用いるモデルは weight clipping より安定性が向上。
• WGAN-GP は LSUN bedrooms で高品質サンプルを得られ、非常に深い Residual GAN 構成の訓練を可能にする。
• 深い ResNet GAN と WGAN-GP の組み合わせは 128×128 LSUN bedrooms で競争力のあるサンプルを得る。
• 勾配ペナルティを持つ連続生成器は、標準的な GAN が苦戦する Google Billion Word データセットのような離散的似データのモデリングを可能にする。