[論文レビュー] Understanding the Effectiveness of Lipschitz-Continuity in Generative Adversarial Nets

Zhiming Zhou, Yuxuan Song+6 more|arXiv (Cornell University)|Jul 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 8

ひとこと要約

この論文は、実データと生成データの分布のサポートが重複しない場合に特に顕著なGAN学習失敗の根本的原因として、最適な識別器の不安定な勾配を特定する。理論的に、識別器にリプシッツ連続性を課すことにより、勾配が実データの方向を向くことが保証され、生成器の収束が達成されることを示す。これにより、Wasserstein GANを越えるより広範な有効なGAN目的関数の族が得られ、実験的にもサンプル品質と学習安定性の向上が確認された。

ABSTRACT

In this paper, we investigate the underlying factor that leads to failure and success in the training of GANs. We study the property of the optimal discriminative function and show that in many GANs, the gradient from the optimal discriminative function is not reliable, which turns out to be the fundamental cause of failure in training of GANs. We further demonstrate that a well-defined distance metric does not necessarily guarantee the convergence of GANs. Finally, we prove in this paper that Lipschitz-continuity condition is a general solution to make the gradient of the optimal discriminative function reliable, and characterized the necessary condition where Lipschitz-continuity ensures the convergence, which leads to a broad family of valid GAN objectives under Lipschitz-continuity condition, where Wasserstein distance is one special case. We experiment with several new objectives, which are sound according to our theorems, and we found that, compared with Wasserstein distance, the outputs of the discriminator with new objectives are more stable and the final qualities of generated samples are also consistently higher than those produced by Wasserstein distance.

研究の動機と目的

• GAN学習の失敗の根本的要因を特定すること、特にサポートが重複しない場合に顕著な最適識別器勾配の不安定性を対象とする。
• サポートが重複しない場合に、Wassersteinのような適切な距離尺度が収束を保証しない理由を分析すること。
• リプシッツ連続性を用いることで、識別器勾配が実データ分布へと的確に誘導する一般解を確立すること。
• リプシッツ連続性がGAN収束を保証するための必要条件を特定すること。
• リプシッツ連続性の下で導出された新しいGAN目的関数を提案・検証し、Wasserstein GANを上回るサンプル品質と学習安定性を達成すること。

提案手法

• 標準GANおよびWasserstein GANにおける最適識別器関数 $f^*$ 及びその勾配 $\nabla_x f^*$ の理論的分析。
• リプシッツ連続性が生成サンプルにおける $\nabla_x f^*$ が実データの方向を向くことを保証し、収束を可能にすることの証明。
• リプシッツ連続性制約下での有効なGAN目的関数の一般族の導出。
• リプシッツ制約下での $\mu$-Fisher IPM や他の $f$-ダイバージェンスに基づく、GAN目的関数の新クラスの導入。
• CIFAR-10、Tiny ImageNet、Oxford 102 における実験評価。Gulrajani et al. (2017) のアーキテクチャを用い、Adam最適化法と $\beta_1 = 0.0$ を設定。
• 目的関数間での識別器出力と生成サンプルの比較、安定性とFIDスコアを測定。

実験結果

リサーチクエスチョン

• RQ1 実データと生成データの分布のサポートが重複しない場合、なぜ標準GANやWasserstein GANは収束しないのか？
• RQ2 最適識別器関数のどの性質が、その勾配が生成器を実データ分布へ的確に誘導することを保証するのか？
• RQ3 Wasserstein距離のような明確な距離尺度だけではGAN収束が保証されるのか、あるいは追加の制約が必要なのか？
• RQ4 どのような条件下でリプシッツ連続性がGANの収束を保証するのか、そしてこの解法はどれほど一般化可能なのか？
• RQ5 リプシッツ連続性の下で導出された新しいGAN目的関数は、Wasserstein GANを上回るサンプル品質と学習安定性を達成できるか？

主な発見

• サポートが重複しない場合、標準GANおよびWasserstein GANにおける最適識別器の勾配は、実データ分布の位置に関する情報を正しく反映しないため、信頼性に欠ける。
• Wasserstein距離のような適切な距離測定だけでは、最適識別器の勾配が信頼できない限り、収束は保証されない。
• リプシッツ連続性は、生成サンプルにおける $\nabla_x f^*$ が実データの方向を向くことを保証する一般解であり、生成器の収束を保証する。
• 本論文は、リプシッツ連続性が $P_g$ と $P_r$ を $f^*$ を介して強く結びつけることを証明し、生成器の更新方向が意味を持つことを示した。
• 実験結果から、リプシッツ連続性の下で得られた新しい目的関数は、Wasserstein GANに比べてより安定した学習と一貫して高品質な生成サンプルを生み出すことが分かった。
• 提案手法はWasserstein GANを越えるものであり、$\mu$-Fisher IPM が代表例である、広範な有効なGAN目的関数の族を形成する。