[論文レビュー] When can Wasserstein GANs minimize Wasserstein Distance

Yuanzhi Li, Zehao Dou|arXiv (Cornell University)|Mar 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 77被引用数 6

ひとこと要約

この論文は、Wasserstein GAN が真のデータ分布への Wasserstein 距離を最小化する理論的条件を確立する。生成器が2層の ReLU ネットワークである場合、1層の ReLU 判別器が生成器が多項式的数の訓練例を用いて逆多項式的に近い分布に収束するための必要十分条件であることを示している。

ABSTRACT

Generative Adversarial Networks (GANs) are widely used models to learn complex real-world distributions. In GANs, the training of the generator usually stops when the discriminator can no longer distinguish the generator's output from the set of training examples. A central question of GANs is that when the training stops, whether the generated distribution is actually close to the target distribution. Previously, it was found that such closeness can only be achieved when there is a strict capacity trade-off between the generator and discriminator: Neither of the two models can be too powerful than the other. In this paper, we established one of the first theoretical results in explaining this trade-off. We show that when the generator is a class of two-layer neural networks, then it is necessary and sufficient for the discriminator to be a one-layer network with ReLU-type activation functions. With this trade-off, using polynomially many training examples, when the training stops, the generator will indeed output a distribution that is inverse-polynomially close to the target. Our result also sheds light on how GANs training can find such a generator efficiently.

研究の動機と目的

• Wasserstein GAN における生成器と判別器の能力のトレードオフを理論的に説明すること。
• 生成器の出力分布が真のデータ分布に近づく条件を特定すること。
• 近似的に最適な生成器への収束を保証する判別器アーキテクチャの必要十分条件を確立すること。
• 多項式的サンプル複雑性を用いた WGAN の効率的訓練の理論的基盤を提供すること。

提案手法

• 生成器を ReLU 活性化関数を用いた2層のニューラルネットワークとして分析する。
• 最適な収束を保証するために、判別器を1層の ReLU ネットワークとすることを要請する。
• これらのアーキテクチャ制約下での Wasserstein 距離最小化の理論的分析を実施する。
• 多項式的サンプル複雑性が、真の分布への逆多項式的近似を達成するのに十分であることを確立する。
• 最適化理論と一般化理論の道具を用いて、生成分布とターゲット分布の間の距離をバウンディングする。

実験結果

リサーチクエスチョン

• RQ1 どのようなアーキテクチャ的条件下で Wasserstein GAN が真のデータ分布への Wasserstein 距離を最小化できるか？
• RQ2 生成器の能力に対して判別器の能力が満たすべき必要十分条件は何か？収束が近い近似に達するためには。
• RQ3 生成器は、多項式的数の訓練例のみを用いて、ターゲット分布に対して逆多項式的に近い近似を達成できるか？
• RQ4 活性化関数の選択とネットワークの深さの選択は、WGAN の収束にどのように影響するか？

主な発見

• 生成器が2層の ReLU ネットワークである場合、1層の ReLU 判別器は必要かつ十分である。
• 訓練が終了した時点で、生成器は真のデータ分布に対して逆多項式的に近い分布に収束する。
• 多項式的サンプル複雑性が、この程度の近似を達成するのに十分である。
• 理論的枠組みは、生成器と判別器の能力のバランスが収束にとって本質的であることを説明している。