[论文解读] Asymptotic Guarantees for Learning Generative Models with the Sliced-Wasserstein Distance

Kimia Nadjahi, Alain Durmus+2 more|arXiv (Cornell University)|Jun 11, 2019

Generative Adversarial Networks and Image Synthesis被引用 10

一句话总结

本文首次为基于切片-Wasserstein（SW）距离的最小期望距离估计器建立了渐近理论保证。证明了SW最小化可产生具有√n收敛速率的渐近一致估计器，并推导出中心极限定理，尽管SW在生成模型中已取得经验成功，本研究仍验证了其理论有效性。

ABSTRACT

Minimum expected distance estimation (MEDE) algorithms have been widely used for probabilistic models with intractable likelihood functions and they have become increasingly popular due to their use in implicit generative modeling (e.g. Wasserstein generative adversarial networks, Wasserstein autoencoders). Emerging from computational optimal transport, the Sliced-Wasserstein (SW) distance has become a popular choice in MEDE thanks to its simplicity and computational benefits. While several studies have reported empirical success on generative modeling with SW, the theoretical properties of such estimators have not yet been established. In this study, we investigate the asymptotic properties of estimators that are obtained by minimizing SW. We first show that convergence in SW implies weak convergence of probability measures in general Wasserstein spaces. Then we show that estimators obtained by minimizing SW (and also an approximate version of SW) are asymptotically consistent. We finally prove a central limit theorem, which characterizes the asymptotic distribution of the estimators and establish a convergence rate of $\\sqrt{n}$, where $n$ denotes the number of observed data points. We illustrate the validity of our theory on both synthetic data and neural networks.

研究动机与目标

• 为隐式生成建模中基于切片-Wasserstein（SW）距离的最小期望距离估计器建立严格的理论基础。
• 研究SW最小化是否在样本量增大时产生一致的参数估计器。
• 刻画基于SW的估计器的渐近分布并确定其收敛速率。
• 在合成数据和神经网络上对理论结果进行经验验证。

提出的方法

• 对SW距离中收敛性的理论分析，表明其在Wasserstein空间中蕴含概率测度的弱收敛性。
• 证明了精确版本与近似版本的切片-Wasserstein距离的渐近一致性。
• 推导出基于SW的估计器的中心极限定理，确立了√n收敛速率。
• 使用蒙特卡洛近似来替代最小期望距离估计中难以计算的期望。
• 通过将数据随机投影到单位球面上，将SW距离表示为一维Wasserstein距离的平均值。
• 在合成高斯分布与稳定分布，以及使用GAN的深度生成模型上进行经验验证。

实验结果

研究问题

• RQ1 最小化切片-Wasserstein距离是否能为生成模型产生渐近一致的估计器？
• RQ2 通过切片-Wasserstein最小化获得的估计器的渐近分布是什么？
• RQ3 SW基估计器的收敛速率如何随样本量n变化？
• RQ4 切片-Wasserstein距离的近似版本如何影响其渐近性质？
• RQ5 SW基估计的理论保证是否可在实际深度生成建模设置中得到验证？

主要发现

• 在切片-Wasserstein距离中收敛意味着在一般Wasserstein空间中概率测度的弱收敛。
• 在正则性条件下，通过最小化切片-Wasserstein距离获得的估计器是渐近一致的。
• 切片-Wasserstein距离的近似版本同样可产生渐近一致的估计器。
• 建立了中心极限定理，表明估计器的渐近分布为正态分布，且收敛速率为√n。
• 在合成数据和神经网络实验中，√n的理论收敛速率得到了经验验证。
• 理论框架在椭球对称分布和高维真实数据上均成立，使用GAN验证了其有效性。