[论文解读] Generalized Denoising Auto-Encoders as Generative Models

Yoshua Bengio, Li Yao+2 more|arXiv (Cornell University)|May 29, 2013

Neural Networks and Applications参考文献 20被引用 210

一句话总结

本文提出了一种广义去噪自编码器（DAE）框架，将去噪过程视为真实数据生成分布的概率估计器。通过在 DAE 的条件重建分布 $P(X|\tilde{X})$ 与噪声污染过程 ${\cal C}(\tilde{X}|X)$ 之间交替采样，构建的马尔可夫链收敛至真实数据分布，从而在任意噪声类型和损失函数下，实现对离散与连续数据的有效生成采样。

ABSTRACT

Recent work has shown how denoising and contractive autoencoders implicitly capture the structure of the data-generating density, in the case where the corruption noise is Gaussian, the reconstruction error is the squared error, and the data is continuous-valued. This has led to various proposals for sampling from this implicitly learned density function, using Langevin and Metropolis-Hastings MCMC. However, it remained unclear how to connect the training procedure of regularized auto-encoders to the implicit estimation of the underlying data-generating distribution when the data are discrete, or using other forms of corruption process and reconstruction errors. Another issue is the mathematical justification which is only valid in the limit of small corruption noise. We propose here a different attack on the problem, which deals with all these issues: arbitrary (but noisy enough) corruption, arbitrary reconstruction loss (seen as a log-likelihood), handling both discrete and continuous-valued variables, and removing the bias due to non-infinitesimal corruption noise (or non-infinitesimal contractive penalty).

研究动机与目标

• 为去噪自编码器提供形式化的概率解释，使其超越高斯噪声与平方误差的限制，适用于任意数据类型与噪声过程。
• 通过建立 DAE 作为隐式密度估计器的一般理论基础，解决先前研究中要求无穷小噪声和特定损失函数的局限性。
• 即使在非无穷小噪声下，仍能通过交替采样 DAE 的重建模型 $P(X|\tilde{X})$ 与噪声污染过程 ${\cal C}(\tilde{X}|X)$ 的马尔可夫链，实现 DAE 的有效生成采样。
• 在非参数人工数据与真实世界数据（如 MNIST）上进行实证验证，证明方法的鲁棒性与生成样本质量的提升。
• 提出一种新型训练方法——回溯训练（walkback training），通过利用模型自身的重建结果定义噪声污染过程，提升收敛速度与生成样本质量。

提出的方法

• 核心方法将 DAE 视为条件模型 $P(X|\tilde{X})$，通过训练使其从被污染的输入 $\tilde{X}$ 中重建出干净输入 $X$，其中噪声污染过程 ${\cal C}(\tilde{X}|X)$ 为任意但具有广泛支持的分布。
• 通过交替采样构建马尔可夫链：(1) 从 DAE 的重建分布 $P(X|\tilde{X})$ 中采样 $X$，(2) 从噪声污染过程 ${\cal C}(\tilde{X}|X)$ 中采样 $\tilde{X}$，确保链收敛至真实数据分布 $P(X)$。
• 该方法通过允许任意重建损失被解释为对数似然，推广了先前工作，使其适用于离散数据（如伯努利分布）与非高斯噪声（如椒盐噪声）。
• 理论证明表明，在对噪声污染过程施加弱条件时，该马尔可夫链的平稳分布等于真实数据分布 $P(X)$。
• 引入回溯训练方法，其中噪声污染过程由 DAE 自身的重建结果定义，模仿对比发散（contrastive divergence）机制，提升训练稳定性和生成样本质量。
• 实证验证使用了非参数模型（如多项式分布、Parzen 估计器）与基于深度神经网络的参数化 DAE，在 MNIST 与合成数据上进行测试。

实验结果

研究问题

• RQ1 去噪自编码器能否被正式解释为任意数据类型与噪声过程的隐式密度估计器？
• RQ2 即使在非无穷小噪声下，交替采样 $P(X|\tilde{X})$ 与 ${\cal C}(\tilde{X}|X)$ 的马尔可夫链是否仍能收敛至真实数据生成分布 $P(X)$？
• RQ3 该框架能否支持任意重建损失（包括离散数据的交叉熵），并仍能产生有效的生成采样？
• RQ4 所提出的回溯训练方法在收敛速度与样本质量方面，相较于标准 DAE 训练有何表现？
• RQ5 该方法能否在真实世界数据（如 MNIST）上生成高质量样本？与 RBM 等最先进模型相比表现如何？

主要发现

• 在 DAE 重建分布 $P(X|\tilde{X})$ 与噪声污染过程 ${\cal C}(\tilde{X}|X)$ 之间交替的马尔可夫链，收敛至真实数据分布 $P(X)$，为生成采样提供了坚实的理论基础。
• 在二值化 MNIST 数据集上使用 50% 椒盐噪声时，采用回溯训练的 DAE 实现了非参数对数似然界 -116，而未使用回溯训练的 DAE 为 -142，优于基线 RBM 在模糊前的 -233。
• 对 RBM 生成样本施加空间模糊（高斯卷积）后，其对数似然界提升至 -112，但 DAE 未观察到类似提升，表明 DAE 生成的样本质量已接近最优。
• 回溯训练生成的样本在视觉上更少出现虚假模式，经视觉检查与对数似然界定量评估均得到验证。
• 该方法在具有 10 个离散值与 10 维连续变量的合成数据上成功恢复了真实数据分布，验证了非参数设置的有效性。
• 该理论框架通过去除对无穷小噪声、高斯噪声或平方误差的依赖，推广了先前结果，使方法更广泛适用于真实世界数据。