[论文解读] An error analysis of generative adversarial networks for learning distributions

Jian Huang, Yuling Jiao+4 more|arXiv (Cornell University)|May 27, 2021

Generative Adversarial Networks and Image Synthesis参考文献 48被引用 16

一句话总结

本文针对生成对抗网络（GANs）在学习概率分布方面的误差分析提供了严格的理论结果，建立了基于霍尔德类函数定义的积分概率度量下的收敛速率。研究结果表明，当网络架构设计得当时，GANs 能够实现依赖于数据内在维度而非环境维度的自适应学习速率，从而避免低维结构数据的维度灾难问题。

ABSTRACT

This paper studies how well generative adversarial networks (GANs) learn probability distributions from finite samples. Our main results establish the convergence rates of GANs under a collection of integral probability metrics defined through Hölder classes, including the Wasserstein distance as a special case. We also show that GANs are able to adaptively learn data distributions with low-dimensional structures or have Hölder densities, when the network architectures are chosen properly. In particular, for distributions concentrated around a low-dimensional set, we show that the learning rates of GANs do not depend on the high ambient dimension, but on the lower intrinsic dimension. Our analysis is based on a new oracle inequality decomposing the estimation error into the generator and discriminator approximation error and the statistical error, which may be of independent interest.

研究动机与目标

• 理解 GANs 从有限样本中学习概率分布的泛化能力。
• 通过考虑低维数据结构，解决现有理论分析中的维度灾难问题。
• 在积分概率度量（IPM）下建立 GANs 的收敛速率，包括 Wasserstein 距离。
• 证明当网络架构适当设计时，GANs 能够自适应地学习具有霍尔德密度或低维流形支持的分布。

提出的方法

• 提出一种新颖的Oracle不等式，将估计误差分解为生成器逼近误差、判别器逼近误差和统计误差。
• 在基于霍尔德类函数定义的积分概率度量（IPM）下分析收敛速率。
• 利用 Rademacher 复杂度和链式技术，以判别器类的伪维数表示统计误差项的上界。
• 通过覆盖数和度量熵推导泛化界，将其与函数类的伪维数联系起来。
• 证明当数据分布在低维流形附近时，收敛速率取决于数据的内在维数 $ d $，而非环境维数 $ D $，从而避免维度灾难。
• 将理论应用于具体情形，如霍尔德光滑密度和低维集合上支持的分布。

实验结果

研究问题

• RQ1 GANs 从有限独立同分布样本中估计目标概率分布时，其收敛行为如何？
• RQ2 当数据位于或靠近低维流形时，GANs 是否能够避免维度灾难？
• RQ3 生成器和判别器网络架构在决定 GANs 收敛速率方面起什么作用？
• RQ4 判别器类的选择（如霍尔德类）如何影响 GANs 的泛化误差？
• RQ5 估计误差能否分解为逼近误差和统计误差两部分，它们各自的贡献是什么？

主要发现

• 在霍尔德类定义的 IPM 下，GANs 的收敛速率被限制为 $ C B \sqrt{\frac{\text{Pdim}(\mathcal{F}) \log n}{n}} $，其中 $ B $ 为判别器函数的统一有界值，$ \text{Pdim}(\mathcal{F}) $ 为判别器类的伪维数。
• 对于支持在内在维数为 $ d $ 的低维流形上的分布，GANs 的收敛速率取决于 $ d $，而非环境维数 $ D $，从而避免了维度灾难。
• 当目标分布具有霍尔德密度时，GANs 实现自适应学习速率，且随着光滑度 $ \beta $ 的增加，收敛速率提升。
• 泛化误差被分解为三部分：生成器逼近误差、判别器逼近误差和统计误差，其中统计误差通过 Rademacher 复杂度进行有界。
• 当判别器类具有有限伪维数时，统计误差以 $ \sqrt{\frac{\text{Pdim}(\mathcal{F}) \log n}{n}} $ 的速率衰减，该速率在对数因子范围内为最优。
• 分析表明，GANs 中的经验极小极大问题是一致的，即随着样本量增加，估计分布以 IPM 度量收敛于真实分布。