[论文解读] How Well Generative Adversarial Networks Learn Distributions

Tengyuan Liang|arXiv (Cornell University)|Nov 7, 2018

Adversarial Robustness in Machine Learning参考文献 44被引用 34

一句话总结

本文在学习隐式概率分布的生成对抗网络（GANs）中建立了极小极大收敛速率，提出了一种新型的生成器-判别器对正则化框架，实现了最优的统计保证。该研究推导出最优的非参数速率，并为深度ReLU网络提供了理论支持，表明通过这种新型正则化机制，GANs 可以超越经典方法。

ABSTRACT

This paper studies the rates of convergence for learning distributions implicitly with the adversarial framework and Generative Adversarial Networks (GANs), which subsume Wasserstein, Sobolev, MMD GAN, and Generalized/Simulated Method of Moments (GMM/SMM) as special cases. We study a wide range of parametric and nonparametric target distributions under a host of objective evaluation metrics. We investigate how to obtain valid statistical guarantees for GANs through the lens of regularization. On the nonparametric end, we derive the optimal minimax rates for distribution estimation under the adversarial framework. On the parametric end, we establish a theory for general neural network classes (including deep leaky ReLU networks) that characterizes the interplay on the choice of generator and discriminator pair. We discover and isolate a new notion of regularization, called the generator-discriminator-pair regularization, that sheds light on the advantage of GANs compared to classical parametric and nonparametric approaches for explicit distribution estimation. We develop novel oracle inequalities as the main technical tools for analyzing GANs, which are of independent interest.

研究动机与目标

• 理解在不同评估指标下 GAN 在学习隐式分布时的统计收敛速率。
• 通过正则化，特别是新提出的生成器-判别器对正则化概念，为 GAN 提供理论保证。
• 在统一的对抗框架下，整合并分析 Wasserstein、MMD、Sobolev 以及 GMM/SMM GANs。
• 在 GAN 框架中建立最优的非参数极小极大速率，用于分布估计。
• 刻画生成器与判别器网络架构在参数与非参数估计中的相互作用。

提出的方法

• 将 GAN 的极小极大公式化为目标分布与生成分布之间的积分概率度量（IPM）。
• 推导出作为关键技术工具的古德曼不等式，以分析 GAN 中的泛化误差与估计误差。
• 提出并形式化了一种新型正则化机制——生成器-判别器对正则化，以捕捉生成器与判别器网络之间的相互依赖性。
• 构建显式的深度神经网络架构（包括带 Leaky ReLU 的网络），以实现目标密度及其对应的判别器，精确匹配对数密度差值。
• 利用深度网络的 VC-维界来控制判别器与生成器类的复杂度。
• 应用非参数统计与经验过程理论的结果，在光滑性假设下推导出极小极大最优速率。

Figure 1: Pair regularization diagram on how well GANs learn distributions in TV distance, when tuning with generator $\mathcal{G}$ and discriminator $\mathcal{F}$ pair. The diagram is illustrated based on upper bounds on TV distance, namely $A_{1}(\mathcal{F},\mathcal{G},\nu)+A_{2}(\nu,\mathcal{G})

实验结果

研究问题

• RQ1 在非参数隐式分布估计中，GAN 的最优极小极大收敛速率是什么？
• RQ2 与经典参数与非参数方法相比，生成器-判别器对正则化如何提升统计性能？
• RQ3 该对抗框架是否能在不同基于 IPM 的 GAN 变体（如 Wasserstein、MMD 和 Sobolev GANs）中实现最优速率？
• RQ4 深度神经网络架构（如 ReLU、深度、宽度）在 GAN 中实现最优估计速率方面起到什么作用？
• RQ5 生成器与判别器网络之间的相互作用如何影响 GAN 的泛化误差与估计误差？

主要发现

• 本文在对抗框架下建立了非参数隐式分布估计的最优极小极大速率，与文献中已知的下界一致。
• 识别出一种新型正则化机制——生成器-判别器对正则化，是 GAN 相较于经典方法具有统计优势的关键。
• 对于深度 Leaky ReLU 网络，本文表明在可实现模型下，生成器可精确表示目标分布的对数密度，判别器可重构对数密度差值。
• 组合生成器-判别器网络的 VC-维被界为 $ O(d^2 L^2 frac{1}{2} \log(dL)) $，从而控制了泛化误差。
• 推导出将估计误差与生成器及判别器复杂度相联系的古德曼不等式，为 GAN 的泛化提供了理论基础。
• 该理论框架统一并推广了已知的 GAN 变体，包括 Wasserstein、MMD、Sobolev 以及 GMM/SMM GANs，均在单一极小极大 IPM 公式下实现统一。

Figure 2: Illustration of discriminator $\mathcal{F}$ (feed-forward network) and generator $\mathcal{G}$ (multi-layer perceptron) in Thm. 19 , for $L=3$ .