[论文解读] Implicit Density Estimation by Local Moment Matching to Sample from Auto-Encoders

Yoshua Bengio, Guillaume Alain+1 more|arXiv (Cornell University)|Jun 30, 2012

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 15

一句话总结

本文提出局部矩匹配作为最大似然密度估计的一种新颖替代方法，表明收缩自编码器和去噪自编码器隐式估计了数据生成密度的局部均值与协方差。通过在具有状态相关高斯提议的马尔可夫链中使用这些估计器，该方法实现了从模型隐式密度中进行采样，从而为收缩自编码器和去噪自编码器的采样算法提供了理论依据并加以扩展。

ABSTRACT

Recent work suggests that some auto-encoder variants do a good job of capturing the local manifold structure of the unknown data generating density. This paper contributes to the mathematical understanding of this phenomenon and helps define better justified sampling algorithms for deep learning based on auto-encoder variants. We consider an MCMC where each step samples from a Gaussian whose mean and covariance matrix depend on the previous state, defines through its asymptotic distribution a target density. First, we show that good choices (in the sense of consistency) for these mean and covariance functions are the local expected value and local covariance under that target density. Then we show that an auto-encoder with a contractive penalty captures estimators of these local moments in its reconstruction function and its Jacobian. A contribution of this work is thus a novel alternative to maximum-likelihood density estimation, which we call local moment matching. It also justifies a recently proposed sampling algorithm for the Contractive Auto-Encoder and extends it to the Denoising Auto-Encoder.

研究动机与目标

• 将自编码器训练与隐式密度估计通过局部矩估计正式联系起来。
• 通过理论一致性论证，为收缩自编码器提出的采样算法提供理论依据。
• 通过证明去噪自编码器同样估计局部矩，将采样方法扩展至去噪自编码器。
• 为使用自编码器作为隐式密度模型提供理论基础，而无需计算分区函数。
• 证明收缩自编码器和去噪自编码器的重构函数与雅可比矩阵在目标密度下可提供局部均值与协方差的一致估计器。

提出的方法

• 构建一个马尔可夫链，其中每一步从一个高斯分布中抽取样本，其均值与协方差由当前状态在目标密度下的局部矩决定。
• 证明此类链的最优均值与协方差函数即为目标密度的局部期望值与局部协方差。
• 证明收缩自编码器通过重构函数及其雅可比矩阵在收缩惩罚下估计了这些局部矩。
• 将分析扩展至去噪自编码器，证明在小高斯噪声与平方误差损失下，其行为等价于收缩自编码器，且收缩惩罚等于噪声方差。
• 通过使用带收缩正则化的非参数重构误差最小化，从自编码器参数中推导出局部矩的估计器。
• 引入一个超参数以控制马尔可夫链中的步长，通过在生成样本上使用Parzen窗估计对数似然来优化该参数。

实验结果

研究问题

• RQ1 收缩自编码器与去噪自编码器是否能隐式估计数据生成密度的局部矩（均值与协方差）？
• RQ2 使用估计的局部矩作为提议参数的马尔可夫链是否收敛到与目标密度一致的分布？
• RQ3 能否将收缩自编码器的采样算法扩展至去噪自编码器？
• RQ4 使用重构函数及其雅可比矩阵作为局部矩估计器的理论依据是什么？
• RQ5 与非参数极限相比，使用参数模型如何影响局部矩估计的一致性？

主要发现

• 在小高斯扰动与平方误差损失下，收缩自编码器与去噪自编码器隐式估计了数据生成密度的局部均值与协方差。
• 当马尔可夫链使用估计的局部矩作为提议参数时，其渐近分布与目标密度一致。
• 在小噪声下，去噪自编码器在数学上等价于收缩自编码器，其收缩惩罚等于噪声方差。
• 收缩或去噪自编码器的重构函数及其雅可比矩阵在目标密度下可提供局部期望值与局部协方差的一致估计器。
• 使用具有状态相关高斯提议的马尔可夫链从模型中采样，可生成高质量、逼真的样本，该结果在MNIST与Toronto Face Dataset上得到验证。
• 该方法避免了难以计算的分区函数，并且无需推理，适用于复杂模型。