[論文レビュー] How Well Generative Adversarial Networks Learn Distributions

Tengyuan Liang|arXiv (Cornell University)|Nov 7, 2018

Adversarial Robustness in Machine Learning参考文献 44被引用数 34

ひとこと要約

この論文は、生成的対抗的ネットワーク（GANs）が暗黙的確率分布を学習する際のミニマックス収束レートを確立し、最適な統計的保証を可能にする、新たなジェネレータ・ディスクラミネータ対正則化フレームワークを導入する。非パラメトリックレートの最適性を導出し、深層ReLUネットワークの理論を提示し、この新しい正則化機構を通じて、GANsが古典的手法を上回ることを示す。

ABSTRACT

This paper studies the rates of convergence for learning distributions implicitly with the adversarial framework and Generative Adversarial Networks (GANs), which subsume Wasserstein, Sobolev, MMD GAN, and Generalized/Simulated Method of Moments (GMM/SMM) as special cases. We study a wide range of parametric and nonparametric target distributions under a host of objective evaluation metrics. We investigate how to obtain valid statistical guarantees for GANs through the lens of regularization. On the nonparametric end, we derive the optimal minimax rates for distribution estimation under the adversarial framework. On the parametric end, we establish a theory for general neural network classes (including deep leaky ReLU networks) that characterizes the interplay on the choice of generator and discriminator pair. We discover and isolate a new notion of regularization, called the generator-discriminator-pair regularization, that sheds light on the advantage of GANs compared to classical parametric and nonparametric approaches for explicit distribution estimation. We develop novel oracle inequalities as the main technical tools for analyzing GANs, which are of independent interest.

研究の動機と目的

• さまざまな評価指標下でのGANの統計的収束レートを理解すること。
• 特に新たなジェネレータ・ディスクラミネータ対正則化概念を用いた、GANの理論的保証を構築すること。
• Wasserstein、MMD、Sobolev、GMM/SMM GANsを統一的に分析し、共通の対抗フレームワーク下に統合すること。
• GANフレームワークにおける分布推定の最適非パラメトリックミニマックスレートを確立すること。
• パラメトリックおよび非パラメトリック推定における、ジェネレータとディスクラミネータのアーキテクチャの相乗作用を特定すること。

提案手法

• GANのミニマックス定式化を、ターゲット分布と生成分布間の積分確率メトリック（IPM）として分析する。
• 一般化誤差と推定誤差を分析するための主要な技術的道具として、オракル不等式を導出する。
• ジェネレータとディスクラミネータネットワークの相互依存性を捉える、新たな正則化機構「ジェネレータ・ディスクラミネータ対正則化」を導入・形式化する。
• 目的密度とそれに対応するディスクラミネータを正確に再構成できる、明示的な深層ニューラルネットワークアーキテクチャ（リ leaky ReLU ネットワークを含む）を構築する。
• ディスクラミネータおよびジェネレータクラスの複雑さを制御するため、深層ネットワークのVC次元を用いる。
• 非パラメトリック統計および経験過程理論の結果を応用し、滑らかさの仮定の下でミニマックス最適レートを導出する。

Figure 1: Pair regularization diagram on how well GANs learn distributions in TV distance, when tuning with generator $\mathcal{G}$ and discriminator $\mathcal{F}$ pair. The diagram is illustrated based on upper bounds on TV distance, namely $A_{1}(\mathcal{F},\mathcal{G},\nu)+A_{2}(\nu,\mathcal{G})

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックな暗黙的分布推定において、GANの最適ミニマックス収束レートは何か？
• RQ2 ジェネレータ・ディスクラミネータ対正則化は、古典的手法（パラメトリックおよび非パラメトリック）と比較して、統計的性能をどのように向上させるか？
• RQ3 対抗フレームワークは、Wasserstein、MMD、Sobolev GANsといった、さまざまなIPMベースのGANバージョンにおいて、最適レートを達成できるか？
• RQ4 深層ニューラルネットワークアーキテクチャ（例：ReLU、深さ、幅）が、GANにおける最適推定レートを達成するために果たす役割は何か？
• RQ5 ジェネレータとディスクラミネータネットワークの相乗作用は、GANにおける一般化誤差と推定誤差にどのように影響を与えるか？

主な発見

• 本論文は、対抗フレームワーク下での非パラメトリックな暗黙的分布推定の最適ミニマックスレートを確立し、既存の文献における下界と一致する。
• GANの古典的手法に対する統計的優位性の鍵は、新たな正則化機構「ジェネレータ・ディスクラミネータ対正則化」であると特定された。
• 深層leaky ReLUネットワークにおいて、実現可能モデル下でジェネレータが目的分布の対数密度を正確に表現でき、ディスクラミネータが対数密度差を正確に再構成できることを示した。
• 合成ジェネレータ・ディスクラミネータネットワークのVC次元は $ O(d^2 L^2 frac{1}{2} \log(dL)) $ で有界であり、これは一般化誤差を制御する。
• 推定誤差とジェネレータ・ディスクラミネータの複雑さを結びつけるオラクル不等式が導出され、GANにおける一般化の理論的基盤が提供された。
• 理論的フレームワークは、Wasserstein、MMD、Sobolev、GMM/SMM GANsといった既知のGANバージョンを、単一のミニマックスIPM定式化の下で統一的かつ一般化的に扱えるようになった。

Figure 2: Illustration of discriminator $\mathcal{F}$ (feed-forward network) and generator $\mathcal{G}$ (multi-layer perceptron) in Thm. 19 , for $L=3$ .