[论文解读] Deep Energy Estimator Networks

Saeed Saremi, Arash Mehrjou+2 more|arXiv (Cornell University)|May 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 46

一句话总结

DEEN 使用可扩展的深度能量模型通过分数匹配来学习数据的能量（未归一化的对数密度），避免 MCMC 和 Hessian 计算。它在高维数据中实现能量、分数估计和单步去噪。

ABSTRACT

Density estimation is a fundamental problem in statistical learning. This problem is especially challenging for complex high-dimensional data due to the curse of dimensionality. A promising solution to this problem is given here in an inference-free hierarchical framework that is built on score matching. We revisit the Bayesian interpretation of the score function and the Parzen score matching, and construct a multilayer perceptron with a scalable objective for learning the energy (i.e. the unnormalized log-density), which is then optimized with stochastic gradient descent. In addition, the resulting deep energy estimator network (DEEN) is designed as products of experts. We present the utility of DEEN in learning the energy, the score function, and in single-step denoising experiments for synthetic and high-dimensional data. We also diagnose stability problems in the direct estimation of the score function that had been observed for denoising autoencoders.

研究动机与目标

• 以深层分层能量为基础的方法来推动对高维数据的通用密度估计。
• 引入一个基于分数匹配的可扩展且无推断需求的目标，用于学习能量函数。
• 提出一个作为专家乘积实现的深度能量估计器网络（DEEN），以在不使用 MCMC 的情况下估计能量。
• 探讨能量估计、分数函数与单步去噪之间的联系。
• 诊断直接分数估计中的稳定性问题并展示鲁棒的基于能量的学习。

提出的方法

• 用神经网络定义能量 E(x;θ)，以建模 p(x;θ) ∝ exp(-E(x;θ))。
• 使用分数匹配来避免计算配分函数 Z(θ)。
• 采用 Parzen 分数匹配，创建一个可扩展且对 SGD 友好的目标，通过神经网络估计能量。
• 用多层感知机参数化 E，并计算分数 ψ(x;θ) = -∇_x E(x;θ)。
• 将 DEEN 形成专家乘积，从而实现来自隐藏单元的分布式能量贡献。
• 使用带 Parzen 平滑数据样本的随机梯度下降来优化 DEEN 目标 L_DEEN(θ)。

实验结果

研究问题

• RQ1 可扩展且无需推断的目标是否能为复杂数据分布学习出准确的能量函数？
• RQ2 Parzen 分数匹配是否在无需 Hessian 计算的情况下实现高效的能量和分数估计？
• RQ3 深度能量估计网络在面对直接分数估计方法中的不稳定性时是否具有鲁棒性？
• RQ4 DEEN 是否能够在高维数据中支持单步去噪并对能量景观进行诊断？
• RQ5 使用专家乘积能量公式进行密度估计的优点与局限性是什么？

主要发现

• DEEN 能准确学习合成二维数据以及真实数据集如 MNIST 和自然图像块的能量景观。
• Parzen 分数匹配目标避免 Hessian 计算，并可用 SGD 进行扩展。
• 使用普通 MLP 的直接分数估计表现出不稳定性（曲率不为零），而 DEEN 保持稳定，因为分数来自能量。
• 通过应用学习到的能量来计算去噪步骤，DEEN 实现了单步去噪，在实验中超越简单基线。
• 对比散度风格的更新在能量学习中可能失败（模式塌陷），凸显 DEEN 的稳定性优势。
• 实验在 MNIST 和 van Hateren 自然图像上展示了去噪和能量估计，并给出了对 σ 的合适超参数选择。