[論文レビュー] Statistical Guarantees of Generative Adversarial Networks for Distribution Estimation.

Minshuo Chen, Wenjing Liao+2 more|arXiv (Cornell University)|Feb 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 73被引用数 22

ひとこと要約

この論文は、 Hölder空間に属する密度をもつデータ分布の推定に関して、生成対抗ネットワーク（GANs）に対する最初の統計的保証を確立する。一般の重み行列とReLU活性化関数を用いた適切に設計された生成器および識別器ネットワークを用いることで、GANsが Wasserstein 距離において一貫性のある推定器であることを証明している。これは、最小限の分布的仮定のもとでも成り立つ。

ABSTRACT

Generative Adversarial Networks (GANs) have achieved great success in unsupervised learning. Despite the remarkable empirical performance, there are limited theoretical understandings on the statistical properties of GANs. This paper provides statistical guarantees of GANs for the estimation of data distributions which have densities in a Holder space. Our main result shows that, if the generator and discriminator network architectures are properly chosen (universally for all distributions with Holder densities), GANs are consistent estimators of the data distributions under strong discrepancy metrics, such as the Wasserstein distance. To our best knowledge, this is the first statistical theory of GANs for Holder densities. In comparison with existing works, our theory requires minimum assumptions on data distributions. Our generator and discriminator networks utilize general weight matrices and the non-invertible ReLU activation function, while many existing works only apply to invertible weight matrices and invertible activation functions. In our analysis, we decompose the error into a statistical error and an approximation error by a new oracle inequality, which may be of independent interest.

研究の動機と目的

• Hölder滑らか密度をもつ確率分布を推定するGANの最初の厳密な統計理論を提供すること。
• Wasserstein距離のような強力な差違測度においてGANの一致性を確立すること。
• 逆行列可能な重みや活性化関数といった制限的な条件を避けるために、データ分布に対する仮定を最小限に抑えること。
• 新たなオракル不等式を用いて推定誤差を統計誤差と近似誤差に分解すること。
• 実際によく使われるが理論的分析がほとんどない一般の重み行列とReLU活性化関数を用いたGANの有効性を示すこと。

提案手法

• 総誤差を統計誤差と近似誤差に分解する理論的枠組みを提案し、GANの分析に用いる。
• 一般化誤差を制限する新しいオラクル不等式を採用し、データサンプリングの寄与（統計誤差）とモデル容量の寄与（近似誤差）を分離する。
• 真の分布と推定分布との差違を評価する主な指標としてWasserstein距離を用いる。
• 一般（非可逆的）重み行列とReLU活性化関数を用いた生成器および識別器ネットワークを設計し、より広範な適用性を実現する。
• 本来の密度に Hölder滑らかさ条件が成り立つ場合のGAN目的関数の収束を分析する。
• 真の分布と推定分布との間のWasserstein距離が標本サイズが増加するにつれて0に収束することを示し、GAN推定器の一貫性を確立する。

実験結果

リサーチクエスチョン

• RQ1 Hölder滑らか密度をもつデータ分布をGANが理論的に一貫して推定できるか？
• RQ2 こうした一貫性を達成するためのデータ分布およびネットワークアーキテクチャに必要な最小限の仮定は何か？
• RQ3 統計誤差と近似誤差は、GANにおける総体的推定誤差にどのように寄与するか？
• RQ4 非可逆的活性化関数（例：ReLU）と一般の重み行列を用いた場合でも、GANは一貫性を達成できるか？
• RQ5 提案された枠組みは、GANが分布推定において経験的に成功する理由を理論的に裏付けるものか？

主な発見

• Hölder密度をもつデータ分布に対して、Wasserstein距離において最小限の仮定のもとでGANは一貫性のある推定器である。
• 逆行列可能な重み行列や活性化関数を仮定しない理論的枠組みが、一貫性を達成している。
• 新たなオラクル不等式を用いた統計誤差と近似誤差への誤差分解は、GANの分析に新たな分析的ツールを提供する。
• ReLU活性化関数と一般の重み行列の使用は理論的に正当化されており、一貫性を損なわない。
• 本研究の結果は、Hölder滑らか密度の文脈におけるGANの最初の統計理論であり、理論的理解における重要な空白を埋めている。
• 分析により、適切なネットワーク設計のもとで、真の分布と推定分布との間のWasserstein距離が標本サイズが増加するにつれて0に収束することが示された。