[论文解读] Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks

Minshuo Chen, Wenjing Liao+2 more|arXiv (Cornell University)|Feb 10, 2020

Model Reduction and Neural Networks被引用 7

一句话总结

本文为生成对抗网络（GANs）在估计具有 Hölder-光滑密度的数据分布方面建立了理论保证。通过精心设计使用深度 ReLU 网络的生成器和判别器架构，作者证明 GANs 在 Wasserstein-1 距离下实现了稳定的估计，当数据表现出低维线性结构时，收敛速度达到 $\widetilde{O}(n^{-1/(2+q)})$，从而避免了维度灾难。

ABSTRACT

Generative Adversarial Networks (GANs) have achieved a great success in unsupervised learning. Despite its remarkable empirical performance, there are limited theoretical studies on the statistical properties of GANs. This paper provides approximation and statistical guarantees of GANs for the estimation of data distributions that have densities in a Hölder space. Our main result shows that, if the generator and discriminator network architectures are properly chosen, GANs are consistent estimators of data distributions under strong discrepancy metrics, such as the Wasserstein-1 distance. Furthermore, when the data distribution exhibits low-dimensional structures, we show that GANs are capable of capturing the unknown low-dimensional structures in data and enjoy a fast statistical convergence, which is free of curse of the ambient dimensionality. Our analysis for low-dimensional data builds upon a universal approximation theory of neural networks with Lipschitz continuity guarantees, which may be of independent interest.

研究动机与目标

• 为 GANs 在强差异度量（如 Wasserstein-1 距离）下的无监督分布估计建立理论基础。
• 解决现有 GAN 理论中缺乏统计一致性与收敛速率分析的问题。
• 探究 GANs 是否能够捕捉高维数据分布中的内在低维线性结构，并实现与维度无关的收敛速率。
• 提供明确的神经网络架构（深度、宽度、参数数量），以确保近似与统计一致性。
• 分析生成器与判别器网络设计之间的相互作用及其对估计误差与泛化能力的影响。

提出的方法

• 将 GANs 形式化为最小化数据分布与生成分布之间积分概率度量（IPM）的极大极小优化问题。
• 以 Wasserstein-1 距离作为主要差异度量，对应于 1-Lipschitz 判别器的类。
• 使用深度 ReLU 架构构建生成器与判别器网络，并对深度、宽度和参数数量施加显式边界，以确保具有 Lipschitz 连续性的通用近似能力。
• 将总误差分解为四个部分：生成器近似误差、有限样本带来的统计误差，以及两类判别器近似误差（简单情况与困难情况）。
• 应用带有 Lipschitz 约束的 ReLU 网络通用近似定理，以界定生成器与判别器的近似误差。
• 结合集中不等式与对数因子，推导出在 Wasserstein-1 距离下的最终收敛速率。

实验结果

研究问题

• RQ1 在如 Wasserstein-1 距离等强差异度量下，经过适当设计的 GANs 是否能一致估计具有 Hölder-光滑密度的数据分布？
• RQ2 为实现一致的分布估计，GANs 所需的网络架构（深度、宽度、参数数）是什么？
• RQ3 GANs 是否能有效捕捉高维数据分布中未知的低维线性结构？
• RQ4 当数据位于或接近低维子空间时，GANs 的统计收敛速率是否仍保持快速，且与环境维度无关？
• RQ5 生成器与判别器的近似误差，以及有限样本带来的统计误差，如何共同影响整体估计误差？

主要发现

• 经过适当设计的深度 ReLU 生成器与判别器网络的 GANs，在 Wasserstein-1 距离下是数据分布的一致估计器。
• 当数据分布在其紧致凸域上具有 α-Hölder 密度且远离零时，GANs 在 Wasserstein-1 度量下实现了 $\widetilde{O}(n^{-1/(2+q)})$ 的统计收敛速率。
• 对于具有内在低维线性结构的数据，收敛速率为 $\widetilde{O}(n^{-1/(2+q)})$，该速率与环境维度 d 无关，因此避免了维度灾难。
• 总误差被分解为四个部分：生成器近似误差 $O(\epsilon_1)$，统计误差 $O(n^{-1/q}\log n + \frac{1}{\sqrt{n}}\sqrt{\bar{J}\bar{L}\log(\bar{L}\bar{p}\bar{\kappa}n)})$，以及两类判别器近似误差 $O(\epsilon_2)$ 与 $O(\epsilon_2 + q^3\epsilon)$，其中 $\epsilon_1 = \epsilon_2 = n^{-1/(2+q)}$。
• 该分析依赖于一种新颖的 ReLU 网络通用近似理论，该理论保证了 Lipschitz 连续性，是具有独立兴趣的关键技术贡献。
• 该理论框架无需生成器可逆，与某些先前方法不同，且显式指定了网络架构，不依赖于隐含假设。