[论文解读] Statistical Guarantees of Generative Adversarial Networks for Distribution Estimation.

Minshuo Chen, Wenjing Liao+2 more|arXiv (Cornell University)|Feb 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 73被引用 22

一句话总结

该论文首次为生成对抗网络（GANs）在估计 Hölder 空间中具有密度的数据分布方面建立了统计保证。它证明了，通过使用通用权重矩阵和 ReLU 激活函数的适当设计的生成器和判别器网络，GANs 在 Wasserstein 距离下是具有一致性的估计器，即使在分布假设最少的情况下也是如此。

ABSTRACT

Generative Adversarial Networks (GANs) have achieved great success in unsupervised learning. Despite the remarkable empirical performance, there are limited theoretical understandings on the statistical properties of GANs. This paper provides statistical guarantees of GANs for the estimation of data distributions which have densities in a Holder space. Our main result shows that, if the generator and discriminator network architectures are properly chosen (universally for all distributions with Holder densities), GANs are consistent estimators of the data distributions under strong discrepancy metrics, such as the Wasserstein distance. To our best knowledge, this is the first statistical theory of GANs for Holder densities. In comparison with existing works, our theory requires minimum assumptions on data distributions. Our generator and discriminator networks utilize general weight matrices and the non-invertible ReLU activation function, while many existing works only apply to invertible weight matrices and invertible activation functions. In our analysis, we decompose the error into a statistical error and an approximation error by a new oracle inequality, which may be of independent interest.

研究动机与目标

• 为具有 Hölder 光滑密度的概率分布估计提供 GAN 的首个严格统计理论。
• 建立 GAN 在如 Wasserstein 距离等强差异度量下的的一致性。
• 最小化对数据分布的假设，避免对可逆权重或激活函数等限制性条件的依赖。
• 通过一种新颖的 oracle 不等式，将估计误差分解为统计误差和近似误差两部分。
• 展示使用通用权重矩阵和 ReLU 激活函数的 GAN 的有效性，这些在实践中常见，但极少在理论上被分析。

提出的方法

• 提出一种理论框架，通过将总误差分解为统计误差和近似误差，用于分析 GAN。
• 采用一种新的 oracle 不等式来界定泛化误差，该不等式将数据采样（统计误差）和模型容量（近似误差）的贡献分离开来。
• 使用 Wasserstein 距离作为主要度量，评估真实分布与估计分布之间的差异。
• 设计使用通用（不可逆）权重矩阵和 ReLU 激活函数的生成器和判别器网络，从而实现更广泛的应用性。
• 在底层密度满足 Hölder 光滑性条件下，分析 GAN 目标函数的收敛性。
• 通过证明真实分布与估计分布之间的 Wasserstein 距离随着样本量增加而收敛于零，建立 GAN 估计器的一致性。

实验结果

研究问题

• RQ1 GAN 是否能在理论上保证一致地估计具有 Hölder 光滑密度的数据分布？
• RQ2 实现这种一致性所需的关于数据分布和网络架构的最小假设是什么？
• RQ3 统计误差和近似误差在 GAN 的整体估计误差中分别起什么作用？
• RQ4 当使用如 ReLU 这类不可逆激活函数和通用权重矩阵时，GAN 是否仍能实现一致性？
• RQ5 所提出的框架是否为 GAN 在分布估计中经验上的成功提供了理论基础？

主要发现

• 在最小假设下，GAN 在 Wasserstein 距离下是一致的估计器，适用于具有 Hölder 密度的数据分布。
• 该理论框架在无需可逆权重矩阵或可逆激活函数的条件下实现了统一性。
• 通过一种新颖的 oracle 不等式将误差分解为统计和近似两部分，为 GAN 提供了一种新的分析工具。
• ReLU 激活函数和通用权重矩阵的使用在理论上得到了合理解释，且不损害一致性。
• 这些结果是首次针对 Hölder 光滑密度背景下 GAN 的统计理论，填补了理论理解中的关键空白。
• 分析表明，在适当的网络设计下，真实分布与估计分布之间的 Wasserstein 距离会随着样本量的增长而收敛于零。