[论文解读] Learning Implicit Generative Models with Theoretical Guarantees

Yuan Gao, Jian Huang+2 more|arXiv (Cornell University)|Feb 7, 2020

Model Reduction and Neural Networks参考文献 68被引用 4

一句话总结

本文提出 UnifiGem，一种统一的隐式生成建模框架，整合了最优传输、数值常微分方程、密度比估计与深度神经网络。通过将生成建模表述为通过 Monge-Ampère 方程的最优传输问题，并利用前向欧拉法结合深度密度比估计求解其线性化形式（McKean-Vlasov 方程），UnifiGem 实现了理论误差界，并在合成数据集和真实世界数据集上展现出优异的实验性能。

ABSTRACT

We propose a extbf{uni}fied extbf{f}ramework for extbf{i}mplicit extbf{ge}nerative extbf{m}odeling (UnifiGem) with theoretical guarantees by integrating approaches from optimal transport, numerical ODE, density-ratio (density-difference) estimation and deep neural networks. First, the problem of implicit generative learning is formulated as that of finding the optimal transport map between the reference distribution and the target distribution, which is characterized by a totally nonlinear Monge-Ampère equation. Interpreting the infinitesimal linearization of the Monge-Ampère equation from the perspective of gradient flows in measure spaces leads to the continuity equation or the McKean-Vlasov equation. We then solve the McKean-Vlasov equation numerically using the forward Euler iteration, where the forward Euler map depends on the density ratio (density difference) between the distribution at current iteration and the underlying target distribution. We further estimate the density ratio (density difference) via deep density-ratio (density-difference) fitting and derive explicit upper bounds on the estimation error. Experimental results on both synthetic datasets and real benchmark datasets support our theoretical findings and demonstrate the effectiveness of UnifiGem.

研究动机与目标

• 开发一个理论基础坚实的统一框架，用于隐式生成建模，整合最优传输、数值常微分方程与深度密度比估计。
• 通过测度空间中的梯度流对高维中高度非线性的 Monge-Ampère 方程进行线性化，以应对求解挑战。
• 在密度比与密度差拟合的背景下，推导估计误差与离散化误差的显式上界。
• 将现有隐式生成模型（如 GAN、VAE、基于流的模型）统一于同一理论与算法框架之下。

提出的方法

• 通过 Monge-Ampère 方程将隐式生成建模表述为最优传输问题，该方程刻画了从参考分布到目标分布的前向映射。
• 利用测度空间中的梯度流对 Monge-Ampère 方程进行线性化，导出连续性方程及其对应的 McKean-Vlasov 常微分方程系统。
• 使用前向欧拉迭代数值求解 McKean-Vlasov 方程，其中每一步依赖于当前分布与目标分布之间的密度比（或差值）。
• 通过显式误差界训练的深度神经网络非参数化估计所需的密度比（或差值）。
• 在总体设定下，推导估计误差（通过深度密度比估计）与离散化误差（通过前向欧拉法）的理论误差上界。
• 将所有组件整合为 UnifiGem，一个统一的训练框架，确保理论收敛性保证。

实验结果

研究问题

• RQ1 隐式生成建模能否在单一框架下统一，结合最优传输、数值常微分方程与深度密度比估计，并具备理论保证？
• RQ2 在高维设置下，使用深度神经网络进行密度比估计时，其理论误差界是什么？
• RQ3 前向欧拉法的离散化误差与密度比估计误差在求解 McKean-Vlasov 方程时如何相互作用？
• RQ4 所提出的框架能否在样本质量与分布保真度方面优于现有隐式模型（如 GAN 与基于流的模型）？
• RQ5 理论误差界 $ n^{-2/(2+ u)} $ 在实际中是否可实现？其随网络深度与宽度的扩展特性如何？

主要发现

• 在适当的网络宽度与深度约束下，所提出的 UnifiGem 框架对密度比的 $ L^2 $ 估计误差实现了显式上界，其形式为 $ C(B^2 + cLm ilde{M})n^{-2/(2+ ilde{M})} $，其中 $ ilde{M} = \text{log} n $。
• 对 McKean-Vlasov 方程应用前向欧拉法的离散化误差在总体层面上有界，确保了数值格式的收敛性。
• 该框架实现了与高维非参数密度比估计中已知极小极大最优率一致的理论收敛速率。
• 在合成数据集与真实基准数据集上的实证结果验证了理论发现，显示出最先进的样本质量与分布保真度。
• 该方法建立了 MMD flow 与基于 Lebesgue 范数的向量场之间的理论联系，表明 MMD flow 对应于将梯度流投影到再生核希尔伯特空间。
• 该框架表明，使用 ReLU 网络进行深度密度比估计可实现近似误差界 $ (NM)^{-4/ ilde{M}} $，其中 $ N $ 与 $ M $ 分别与网络规模和光滑性相关。