[论文解读] How Well Can Generative Adversarial Networks (GAN) Learn Densities: A Nonparametric View

Tengyuan Liang|arXiv (Cornell University)|Dec 21, 2017

Model Reduction and Neural Networks参考文献 12被引用 18

一句话总结

本文从非参数统计视角对生成对抗网络（GANs）进行分析，提出一种新型GAN估计器，可自适应于目标密度的光滑性与评估指标，从而在高维情形下实现接近最优的收敛速率，并缓解模式崩溃问题。该方法还为深层ReLU判别器提供了改进的泛化界。

ABSTRACT

We study in this paper the rate of convergence for learning densities under the Generative Adversarial Networks (GAN) framework, borrowing insights from nonparametric statistics. We introduce an improved GAN estimator that achieves a faster rate, through simultaneously leveraging the level of smoothness in the target density and the evaluation metric, which in theory remedies the mode collapse problem reported in the literature. A minimax lower bound is constructed to show that when the dimension is large, the exponent in the rate for the new GAN estimator is near optimal. One can view our results as answering in a quantitative way how well GAN learns a wide range of densities with different smoothness properties, under a hierarchy of evaluation metrics. As a byproduct, we also obtain improved generalization bounds for GAN with deeper ReLU discriminator network.

研究动机与目标

• 利用非参数统计理论，理解基于GAN的密度估计中的基本收敛速率。
• 通过设计一种同时自适应于目标密度光滑性与评估指标的估计器，解决GAN中的模式崩溃问题。
• 在GAN框架下，为高维密度学习建立极小化极大下界。
• 通过使用更深的ReLU判别器网络，推导GAN的改进泛化界。

提出的方法

• 本文提出一种新型GAN估计器，通过联合优化目标密度的光滑性与评估指标，以提升收敛速率。
• 利用非参数统计方法，分析在不同光滑性假设与评估指标下GAN的收敛速率。
• 构建极小化极大下界，以确立高维设定下收敛速率的理论极限。
• 通过引入深层ReLU网络的结构，推导出更紧致的泛化界。
• 明确建立目标密度光滑性与判别器架构选择及评估指标之间的关联。
• 利用经验过程理论与非参数估计工具，推导出理论保证。

实验结果

研究问题

• RQ1 在不同评估指标下，GAN对具有不同光滑性特征的广泛密度类的学习速度有多快？
• RQ2 能否设计一种GAN估计器，使其同时自适应于目标密度的光滑性与评估指标，以提升收敛速率？
• RQ3 在高维情形下，基于GAN的密度估计的收敛速率是否存在基本极限（极小化极大下界）？
• RQ4 更深的ReLU判别器网络如何影响GAN在非参数密度估计中的泛化性能？

主要发现

• 所提出的GAN估计器在高维设定下实现了接近最优的收敛速率，该结论由极小化极大下界验证。
• 通过同时自适应于目标密度的光滑性与评估指标，该估计器有效缓解了模式崩溃问题。
• 极小化极大下界表明，当维度较大时，收敛速率中的指数接近理论最优值。
• 为采用更深ReLU判别器网络的GAN推导出改进的泛化界，增强了对其实泛化性能的理论理解。
• 结果为GAN在不同层次评估指标下学习多样化密度的能力提供了定量解答。
• 理论框架建立了光滑性、度量选择与基于GAN的密度估计收敛速度之间的关联。