[论文解读] Generative Modeling with Denoising Auto-Encoders and Langevin Sampling

Adam Block, Youssef Mroueh+1 more|arXiv (Cornell University)|Jan 31, 2020

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 11

一句话总结

本文为一种结合去噪自编码器（DAE）进行得分估计与拉普拉斯动力学进行采样的生成建模框架建立了理论保证。它证明了生成分布与真实数据分布之间在有限样本下的Wasserstein-2距离上界，首次为扩散模型中同伦方法的实证成功提供了严格的理论依据。

ABSTRACT

We study convergence of a generative modeling method that first estimates the score function of the distribution using Denoising Auto-Encoders (DAE) or Denoising Score Matching (DSM) and then employs Langevin diffusion for sampling. We show that both DAE and DSM provide estimates of the score of the Gaussian smoothed population density, allowing us to apply the machinery of Empirical Processes. We overcome the challenge of relying only on $L^2$ bounds on the score estimation error and provide finite-sample bounds in the Wasserstein distance between the law of the population distribution and the law of this sampling scheme. We then apply our results to the homotopy method of arXiv:1907.05600 and provide theoretical justification for its empirical success.

研究动机与目标

• 为结合去噪自编码器（DAE）与拉普拉斯采样的得分基生成模型的实证成功提供理论依据。
• 在生成方案与真实数据分布之间建立Wasserstein-2距离的有限样本收敛保证。
• 证明DAE所获得的$L^2$-一致得分估计器足以实现准确采样，克服了统一误差界限制。
• 为[SE19]中使用的同伦方法提供理论基础，该方法通过逐步降低噪声和步长来提升采样质量。
• 明确DAE实际学习的内容：它估计的是真实数据分布的高斯平滑版本的得分，并在满足对平滑测度的对数索波列夫不等式条件下，确保其成立。

提出的方法

• 使用去噪自编码器（DAE）估计数据分布的得分函数，证明其等价于最小化去噪得分匹配（DSM）损失。
• 在步长为$\eta_i$的离散化拉普拉斯扩散过程中使用DAE导出的得分估计$\widehat{f}_i(x) = \frac{1}{\sigma_i^2}(\widetilde{f}_i(x) - x)$。
• 采用同伦方法，其中$\eta_i$和$\sigma_i^2$非递增，通过$N$个阶段逐步降低噪声与步长，以提升采样稳定性和准确性。
• 利用经验过程理论及得分估计的$L^2$误差界，推导出生成分布与真实分布之间有限样本下的Wasserstein-2距离上界。
• 通过耗散性与对数索波列夫条件控制拉普拉斯过程的矩与尾部行为，从而实现矩与指数矩的上界。
• 将Wasserstein误差分解为估计误差与采样误差两部分，表明即使得分估计在$L^2$意义下接近，最终采样分布的Wasserstein误差仍可保持较小。

实验结果

研究问题

• RQ1 由去噪自编码器产生的$L^2$-一致得分估计器能否生成有效的生成模型，并在Wasserstein距离下提供有限样本收敛保证？
• RQ2 为何同伦方法——即逐步降低噪声与步长——在实践中能提升采样质量？这一现象能否获得理论解释？
• RQ3 DAE实际估计的是什么分布？它学习的是原始数据分布的得分，还是其平滑版本的得分？
• RQ4 在何种条件下，高斯平滑后的数据分布满足对数索波列夫不等式？该条件对浓度与采样保证至关重要。
• RQ5 能否为基于DAE的生成模型推导出有限样本、高概率的上界，而非仅依赖渐近或期望结果？

主要发现

• 本文首次建立了生成方案的分布与真实数据分布之间在Wasserstein-2距离上的有限样本、高概率上界。
• 证明了常见的由DAE生成的$L^2$-一致得分估计器足以确保最终的拉普拉斯采样过程与真实拉普拉斯过程在分布上保持接近。
• 证明DAE损失等价于最小化去噪得分匹配（DSM）损失，且总体DAE可作为高斯平滑数据分布得分的无偏估计器。
• 本文首次给出了高斯平滑分布满足对数索波列夫不等式的已知条件，从而支持更强的浓度与矩上界。
• 通过清晰的误差分解，理论解释了同伦方法的成功：该方法将估计误差与采样误差分离，表明逐步退火可降低整体分布误差。
• 在耗散性与对数索波列夫假设下，推导出拉普拉斯过程的矩与指数矩上界，这对控制Wasserstein距离至关重要。