[论文解读] Deep Directed Generative Autoencoders

Sherjil Ozair, Yoshua Bengio|arXiv (Cornell University)|Oct 2, 2014

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 17

一句话总结

本文提出深度有向生成自编码器（DDGAs），一种概率框架，通过最小化数据似然的下界来训练深度自编码器，以学习分层的、解耦的表征。该方法使用深度编码器将数据映射到一个紧凑且因子分解的潜在空间，采用简单的先验分布，通过祖先采样实现高质量的样本生成，并通过预训练和逐步增加先验权重，在MNIST数据集上实现了最先进的生成质量。

ABSTRACT

For discrete data, the likelihood $P(x)$ can be rewritten exactly and parametrized into $P(X = x) = P(X = x | H = f(x)) P(H = f(x))$ if $P(X | H)$ has enough capacity to put no probability mass on any $x'$ for which $f(x') eq f(x)$, where $f(\cdot)$ is a deterministic discrete function. The log of the first factor gives rise to the log-likelihood reconstruction error of an autoencoder with $f(\cdot)$ as the encoder and $P(X|H)$ as the (probabilistic) decoder. The log of the second term can be seen as a regularizer on the encoded activations $h=f(x)$, e.g., as in sparse autoencoders. Both encoder and decoder can be represented by a deep neural network and trained to maximize the average of the optimal log-likelihood $\log p(x)$. The objective is to learn an encoder $f(\cdot)$ that maps $X$ to $f(X)$ that has a much simpler distribution than $X$ itself, estimated by $P(H)$. This "flattens the manifold" or concentrates probability mass in a smaller number of (relevant) dimensions over which the distribution factorizes. Generating samples from the model is straightforward using ancestral sampling. One challenge is that regular back-propagation cannot be used to obtain the gradient on the parameters of the encoder, but we find that using the straight-through estimator works well here. We also find that although optimizing a single level of such architecture may be difficult, much better results can be obtained by pre-training and stacking them, gradually transforming the data distribution into one that is more easily captured by a simple parametric model.

研究动机与目标

• 开发一种深度生成模型，通过将复杂且弯曲的数据流形转换为潜在空间中更平坦、更可因子化的形式，学习分层表征。
• 为自编码器提供概率解释，将其视为最大似然模型，训练目标源自对数似然的变分下界。
• 通过确保潜在码分布简单且能被因子分解先验良好近似，实现高效的祖先采样。
• 通过预训练深层自编码器堆叠并逐步增加先验正则化项，提升样本质量和似然性。
• 通过实证验证，更深层的表征可降低熵和相关性，从而更适用于简单先验建模。

提出的方法

• 模型将数据似然分解为 P(x) = P(x|h=f(x))P(h)，其中 f 为确定性编码器，P(x|h) 为概率解码器，两者均以深度神经网络实现。
• 训练目标为最大化 log P(x) 的变分下界，结合重构误差与潜在码分布 P(h) 的正则化项。
• 使用直通估计器训练编码器，以反向传播梯度通过离散的、确定性的编码函数 f(x)。
• 采用延续策略，在训练过程中逐步增加先验项权重，以稳定优化并提升生成质量。
• 对每一层依次进行预训练，先验层在堆叠前被约束以实现低重构误差，从而实现分层流形展开。
• 使用祖先采样进行生成：首先从 P(h) 中采样 h，再从 P(x|h) 中采样 x，无需 MCMC 即可生成真实感样本。

实验结果

研究问题

• RQ1 能否通过最大化数据似然的下界，将深层自编码器训练为生成模型？
• RQ2 通过预训练堆叠自编码器是否能实现更好的流形展平并提升样本质量？
• RQ3 先验选择与渐进加权策略如何影响优化与生成性能？
• RQ4 更深层的表征在多大程度上降低熵与相关性，从而更适用于因子分解先验建模？
• RQ5 直通估计器是否能有效训练可微分自编码器框架中的确定性编码器？

主要发现

• 该模型在 MNIST 上实现了高质量的样本生成，即使先验为简单且因子分解的形式，生成样本仍多为清晰可辨的数字，且视觉上合理。
• 对自编码器堆栈进行预训练显著提升了样本质量，第二层自编码器将最终表征的熵从原始数据的 297.6 bit 降低至 47.6 bit。
• 原始数据中活跃位的平均数量（罕见激活单元）从 102.1 降至最终潜在表征的 17.4，表明表征更稀疏且更易因子化。
• 表征中非对角线相关性的弗罗贝尼乌斯范数从原始数据的 63.5 降至最终层的 9.4，表明深层表征消除了维度间的相关性。
• 在训练过程中逐步增加先验权重的效果优于固定权重，表明优化过程更稳定。
• 该方法成功展平了数据流形：潜在空间中的插值可生成真实图像，而在输入空间中则不能，证实了流形展开效应。