[論文レビュー] Approximability of Discriminators Implies Diversity in GANs

Yu Bai, Tengyu Ma+1 more|arXiv (Cornell University)|Jun 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 42

ひとこと要約

本論文は、特定の生成器クラスに対して制限付き近似性を持つ識別器を設計することで、GANs がポリノミアルなサンプル複雑性で Wasserstein 距離（および場合によっては KL 散逸）における分布を学習でき、適切な条件下でモード崩壊を緩和できることを示している。

ABSTRACT

While Generative Adversarial Networks (GANs) have empirically produced impressive results on learning complex real-world distributions, recent works have shown that they suffer from lack of diversity or mode collapse. The theoretical work of Arora et al. suggests a dilemma about GANs' statistical properties: powerful discriminators cause overfitting, whereas weak discriminators cannot detect mode collapse. By contrast, we show in this paper that GANs can in principle learn distributions in Wasserstein distance (or KL-divergence in many cases) with polynomial sample complexity, if the discriminator class has strong distinguishing power against the particular generator class (instead of against all possible generators). For various generator classes such as mixture of Gaussians, exponential families, and invertible and injective neural networks generators, we design corresponding discriminators (which are often neural nets of specific architectures) such that the Integral Probability Metric (IPM) induced by the discriminators can provably approximate the Wasserstein distance and/or KL-divergence. This implies that if the training is successful, then the learned distribution is close to the true distribution in Wasserstein distance or KL divergence, and thus cannot drop modes. Our preliminary experiments show that on synthetic datasets the test IPM is well correlated with KL divergence or the Wasserstein distance, indicating that the lack of diversity in GANs may be caused by the sub-optimality in optimization instead of statistical inefficiency.

研究の動機と目的

• GAN における強識別器と弱識別器の使用時に生じるモード崩壊/多様性の緊張を動機づけ、形式化する。
• 生成クラス G の中でのみ p と q を識別する識別器、すなわち集団レベルの保証を可能にする「制限付き近似性」の概念を導入する。
• 特定の生成器クラス（ガウス分布、指数族、可逆/単射ニューラルネット）に対して Wasserstein 距離または KL 距離を近似する識別器を設計する方法を示す。
• 訓練が成功することが真の分布との Wasserstein 距離または KL 発散の近接性を意味し、したがって顕著なモード削除を防ぐことを理論的に保証する。

提案手法

• F を関数クラスとして IPM W_F(p,q) を定義し、F が 1-リプシッツ関数のとき Wasserstein-1 に関連づける。
• 制限付き近似性を提案：すべての q が生成器クラス G に属するとき gamma_L(W1(p,q)) <= W_F(p,q) <= gamma_U(W1(p,q))。
• 基本分布（ガウス分布（1 層 ReLU）や指数族（線形統計量））に対する識別器クラス F を設計する。
• 可逆ネットワーク（密度が存在する）や単射ネットワーク（多様体）を含むニューラルネット生成器を研究し、対数密度に関連する識別子や平滑化バリアントを用いて F を構築する。
• 可逆生成器設定において、W1(p,q)^2 <= D_KL(p||q)+D_KL(q||p) <= W_F(p,q) <= poly(d)/delta^2 * (W1(p,q) + 小項) という下限と上限を確立する。
• 母集団と経験的 IPM を関連づけるための Rademacher 複雑さ R_n(F,G) による一般化境界を提供する。

実験結果

リサーチクエスチョン

• RQ1 識別器を特定の生成クラスに関して制限付き近似性を持つよう設計でき、p と q が W1 で近い場合に小さな IPM が Wasserstein または KL 距離の近さを保証することができるか？
• RQ2 どの生成器ファミリ（ガウス、指数族、可逆/単射ニューラルネットワーク）に対して、それぞれの距離測度を法的に近似する識別器を構築できるか？
• RQ3 制限付き近似性の下での訓練に対して多項式サンプルサイズの保証は存在し、それはモード崩壊の緩和を意味するか？
• RQ4 KL 発散が無限となる可能性がある低次元の多様体支持に対して、滑らか化した IPM はどのように機能するか？
• RQ5 実用的な GAN における IPM 訓練損失と真の分布の多様性との理論的・経験的関係はどうなるか？

主な発見

• 制限付き近似性を持つ識別器は W_F を介して Wasserstein 距離を界取り、多様性を確保できる（p と q が W1 で近い場合）。
• ガウス生成器の場合、1 層 ReLU の識別器で W1(Gaussians) の境界を達成でき、Rademacher 複雑さは述べた定数までスケールする。
• 指数族の場合、充分統計量に対する線形関数が W_F と KL 発散（および幾何条件下での W1）を結ぶ境界を提供する。
• ニューラルネット生成器、特に可逆ネットワークでは、1 追加層を持つ識別器で W1(p,q)^2 <= W_F(p,q) <= W1(p,q) を多項式因子まで達成でき、一般化境界は 1/√n で減衰する。
• 単射ニューラルネットワーク生成器（多様体）の場合、平滑化された IPM tilde d_F が Wasserstein 距離を挟み込む代理指標となり、一般化は多項式的に境界付けられる。
• 合成データの2D実験では、IPM が Wasserstein 距離と KL 発散と相関を持つことを示し、適用可能な設定では多様性の欠如の原因は統計的非効率性よりも最適化の難しさであると示唆される。