[論文レビュー] Solving Approximate Wasserstein GANs to Stationarity.

Maziar Sanjabi, Jimmy Ba+2 more|arXiv (Cornell University)|Feb 22, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 15

ひとこと要約

本稿では、滑らかでない Wasserstein GAN 目的関数の滑らか近似を提案し、勾配に基づく最適化が効率的に行えるとともに、定常解への収束が保証されるようにする。元の滑らかでない損失関数を微分可能で代替可能な関数に置き換えることで、学習が簡素化され、敵対的学習された潜在表現に基づく複雑なコスト関数の有効な利用が可能になるとともに、強い理論的保証を維持することができる。

ABSTRACT

Generative Adversarial Networks (GANs) are one of the most practical strategies to learn data distributions. A popular GAN formulation is based on the use of Wasserstein distance as a metric between probability distributions. Unfortunately, minimizing the Wasserstein distance between the data distribution and the generative model distribution is a challenging problem as its objective is non-convex, non-smooth, and even hard to compute. In this work, we propose to use a smooth approximation of the Wasserstein GANs. We show that this smooth approximation is close to the original objective. Moreover, obtaining gradient information of this approximate formulation is computationally effortless and hence one can easily apply first order optimization methods to optimize this objective. Based on this observation, we proposed a class of algorithms with guaranteed theoretical convergence to stationarity. Unlike the original non-smooth objective, our proposed algorithm only requires solving the discriminator to approximate optimality. We applied our method to learning Gaussian mixtures on a grid and also to learning MNIST digits. Our method allows the use of powerful cost functions based on latent representations of the data, where this latent representation could also be optimized adversarially.

研究の動機と目的

• 滑らかでない非凸な Wasserstein GAN 目的関数を最小化するうえでの計算的および理論的課題に対処すること。
• 勾配に基づく最適化が可能な微分可能近似を Wasserstein GAN 損失関数に導入すること。
• 1次最適化スキームにおいて、定常解への理論的収束を保証すること。
• 生成モデルに、学習された潜在表現に基づく強力で複雑なコスト関数を有効に利用できること。
• 訓練の安定性を維持しつつ、潜在表現の敵対的最適化を可能にすること。

提案手法

• 元の滑らかでない Wasserstein GAN 目的関数の滑らか近似を提案すること。
• この滑らか近似を用いて、標準的なバックプロパゲーションによる勾配の簡単な計算を可能にすること。
• 近似目的関数に対して1次最適化手法を適用し、定常解への収束を保証すること。
• 判別器の最適性を近似的に満たすことで、生成器と判別器の訓練を分離すること。
• 潜在空間のコスト関数を目的関数に統合し、表現の敵対的学習を可能にすること。
• 新しい目的関数の滑らかさと微分可能性を活用することで、理論的収束保証を確保すること。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない Wasserstein GAN 目的関数の滑らか近似は、効率的で安定した訓練を可能にするか？
• RQ2 提案された滑らか近似は、1次最適化手法を用いて定常解への保証された収束を可能にするか？
• RQ3 学習された潜在表現に基づく複雑なコスト関数を、訓練プロセスに効果的に統合できるか？
• RQ4 サンプル品質および訓練安定性の観点から、滑らか近似の性能は元の滑らかでない Wasserstein GAN と比べてどうか？
• RQ5 訓練収束性を劣化させることなく、潜在表現をどれほど敵対的に最適化できるか？

主な発見

• 滑らかでない Wasserstein GAN 目的関数の滑らか近似は、理論的に元の非滑らか形式に近く、望ましい分布距離の性質を保持している。
• 近似目的関数の勾配計算は計算的に容易で、1次最適化アルゴリズムの効率的利用を可能にする。
• 標準的な1次最適化スキームにおいて、定常解への収束が保証される。これは元の非滑らか形式とは対照的である。
• 本手法は、学習された潜在表現に基づく複雑なコスト関数の有効な利用を可能にし、これらの表現の敵対的最適化も可能にする。
• ガウス混合分布および MNIST における実験結果から、安定した訓練と高品質なサンプル生成が得られた。
• 非自明なコスト関数を用いても、理論的収束性を維持しつつ MNIST でも競争力のある性能を達成した。