[论文解读] How to Train Deep Variational Autoencoders and Probabilistic Ladder Networks

Casper Kaae Sønderby, Tapani Raiko+3 more|arXiv (Cornell University)|Feb 6, 2016

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 79

一句话总结

本文提出了三种训练改进方法——阶梯式推理网络、预热训练策略和批量归一化——使得深度变分自编码器能够实现多达五层随机隐藏变量的结构。这些改进在基准数据集上实现了当前最优的对数似然性能，显著提升了生成建模能力，超越了以往的浅层模型。

ABSTRACT

Variational autoencoders are a powerful framework for unsupervised learning. However, previous work has been restricted to shallow models with one or two layers of fully factorized stochastic latent variables, limiting the flexibility of the latent representation. We propose three advances in training algorithms of variational autoencoders, for the first time allowing to train deep models of up to five stochastic layers, (1) using a structure similar to the Ladder network as the inference model, (2) warm-up period to support stochastic units staying active in early training, and (3) use of batch normalization. Using these improvements we show state-of-the-art log-likelihood results for generative modeling on several benchmark datasets.

研究动机与目标

• 克服仅具有一到两层随机潜在变量的浅层变分自编码器的局限性。
• 实现最多五层随机隐藏变量的深度生成模型训练，以提升表征灵活性。
• 通过改进的推理与优化策略，解决深度随机架构中的训练不稳定与收敛性差的问题。
• 在标准基准数据集上，通过对数似然指标实现更优的生成建模性能。

提出的方法

• 在推理模型中采用阶梯网络结构，实现具有自下而上和自上而下连接的深层分层推理。
• 在训练过程中引入预热阶段，逐步增加KL散度项的权重，帮助随机单元在训练初期保持活跃。
• 在推理网络和生成网络的隐藏单元中应用批量归一化，以稳定训练并提升优化性能。
• 使用完全因子化的变分后验分布并结合随机潜在变量，但通过结构化推理架构增强其表达能力。
• 采用重参数化梯度的随机梯度下降方法，实现端到端的模型训练，以高效反向传播通过随机单元。
• 通过结构化推理、预热策略与批量归一化的结合，实现深层架构的稳定训练。

实验结果

研究问题

• RQ1 能否使用标准优化技术成功训练具有五层随机隐藏变量的深度变分自编码器？
• RQ2 与标准因子化推理相比，阶梯式推理网络在多大程度上提升了深度VAE训练的质量与稳定性？
• RQ3 预热策略在多大程度上改善了深度VAE中随机单元的学习动态？
• RQ4 批量归一化是否显著提升了深度概率自编码器的训练稳定性和性能？

主要发现

• 所提出的训练算法成功实现了最多五层随机隐藏变量的深度变分自编码器训练，相比以往工作仅限于一到两层，是显著的进展。
• 阶梯式推理、预热策略与批量归一化的结合，使得原本无法收敛的深层模型实现了稳定训练。
• 该方法在多个基准数据集上实现了当前最优的对数似然结果，证明了其卓越的生成建模性能。
• 预热策略通过在训练初期保持随机单元的活跃状态，有效防止了后验坍缩。
• 批量归一化显著提升了训练稳定性与收敛速度，尤其在具有多个随机层的深层架构中效果明显。
• 阶梯式推理结构增强了近似后验的表达能力，从而更优地建模复杂的数据分布。