[论文解读] Rates of convergence for density estimation with generative adversarial networks

Puchkin, Nikita, Samsonov, Sergey+3 more|arXiv (Cornell University)|Jan 30, 2021

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 8

一句话总结

本文为使用原始生成对抗网络（GANs）进行密度估计建立了非渐近收敛速率，证明了真实密度与 GAN 估计之间的 Jensen-Shannon 散度以 $(\log n / n)^{2\beta/(2\beta + d)}$ 的速率衰减，该速率在光滑密度下与极小极大最优速率一致，仅相差对数因子。分析基于改进的 oracle 不等式，并在 Sobolev 类型光滑性假设下建立了统计最优性。

ABSTRACT

In this work we undertake a thorough study of the non-asymptotic properties of the vanilla generative adversarial networks (GANs). We prove an oracle inequality for the Jensen-Shannon (JS) divergence between the underlying density $\mathsf{p}^*$ and the GAN estimate with a significantly better statistical error term compared to the previously known results. The advantage of our bound becomes clear in application to nonparametric density estimation. We show that the JS-divergence between the GAN estimate and $\mathsf{p}^*$ decays as fast as $(\log{n}/n)^{2β/(2β+ d)}$, where $n$ is the sample size and $β$ determines the smoothness of $\mathsf{p}^*$. This rate of convergence coincides (up to logarithmic factors) with minimax optimal for the considered class of densities.

研究动机与目标

• 分析原始 GAN 在密度估计中的非渐近统计性质。
• 为 GAN 中真实密度 $\mathsf{p}^*$ 与 GAN 估计之间的 Jensen-Shannon 散度建立一个更精确的 oracle 不等式，其误差界更优。
• 推导基于 GAN 的密度估计器的收敛速率，并与极小极大最优速率进行比较。
• 证明 GAN 估计器在 Sobolev 类中具有光滑参数 $\beta$ 的密度下，可达到极小极大速率（仅相差对数因子）。

提出的方法

• 推导真实密度 $\mathsf{p}^*$ 与 GAN 估计之间的 Jensen-Shannon 散度的 oracle 不等式，其统计误差项比以往工作更紧致。
• 通过在生成器和判别器参数上的经验风险最小化，分析 GAN 的极小极大目标 $L_n(w,\theta)$。
• 对生成器和判别器族施加光滑性条件，假设其属于具有光滑性 $\beta$ 的 Sobolev 类型类。
• 基于密度差的 $L_2$-范数构造下界，以建立极小极大最优性。
• 应用柯西-施瓦茨不等式和集中性论证，通过已知不等式将 $L_2$-风险与 JS 散度关联起来。
• 利用 JS 散度有下界为 $L_2$-范数平方的常数倍这一事实，实现从 $L_2$-速率到 JS 散度的速率传递。

实验结果

研究问题

• RQ1 真实密度与 GAN 估计之间的 Jensen-Shannon 散度的非渐近收敛速率是什么？
• RQ2 在光滑性假设下，GAN 估计器能否在非参数密度估计中达到极小极大最优速率？
• RQ3 GAN 目标中的统计误差与密度估计的最优速率相比如何？
• RQ4 GAN 的 oracle 不等式是否能导出与极小极大下界仅相差对数因子的速率？
• RQ5 生成器和判别器的光滑性在实现最优收敛速率中起什么作用？

主要发现

• GAN 估计与真实密度 $\mathsf{p}^*$ 之间的 JS 散度以速率 $(\log n / n)^{2\beta/(2\beta + d)}$ 衰减，该速率在 Sobolev 光滑密度下与极小极大最优速率一致，仅相差对数因子。
• 本文为 GAN 建立了新的 oracle 不等式，其统计误差项显著改进，从而实现了更紧致的收敛界。
• 该收敛速率在极小极大意义下是最优的，因为在相同光滑性假设下，任何密度估计器都无法实现更快的收敛速率。
• 下界构造表明，任何估计器的 $L_2$-风险均有下界 $C_d n^{-2\beta/(2\beta + d)}$，从而证实了该速率的紧致性。
• JS 散度有下界为 $L_2$-范数平方的常数倍，这使得能够将 $L_2$-速率成功传递至 JS 散度。
• 即使判别器类被限制为参数族，只要其足够丰富以近似最优判别器，该结果依然成立。