[论文解读] DVAE#: Discrete Variational Autoencoders with Relaxed Boltzmann Priors

Arash Vahdat, Evgeny Andriyash+1 more|arXiv (Cornell University)|May 1, 2018

Generative Adversarial Networks and Image Synthesis被引用 21

一句话总结

本文提出使用广义重叠变换和高斯积分技巧的松弛玻尔兹曼先验，用于离散变分自编码器，实现更紧致的重要加权边界训练。在 MNIST 和 OMNIGLOT 数据集上的实验表明，与以往使用玻尔兹曼先验的离散 VAE 相比，该方法生成质量更优。

ABSTRACT

Boltzmann machines are powerful distributions that have been shown to be an effective prior over binary latent variables in variational autoencoders (VAEs). However, previous methods for training discrete VAEs have used the evidence lower bound and not the tighter importance-weighted bound. We propose two approaches for relaxing Boltzmann machines to continuous distributions that permit training with importance-weighted bounds. These relaxations are based on generalized overlapping transformations and the Gaussian integral trick. Experiments on the MNIST and OMNIGLOT datasets show that these relaxations outperform previous discrete VAEs with Boltzmann priors. An implementation which reproduces these results is available.

研究动机与目标

• 为解决以往离散 VAE 仅使用证据下界（ELBO）而非更紧致的重要加权边界的问题。
• 开发玻尔兹曼机的连续松弛形式，以在保持其表达能力的同时实现可微训练。
• 通过将离散潜在分布转换为连续可微近似，实现离散 VAE 的重要加权边界训练。
• 通过结合表达性强的先验与更紧致的变分边界，提升离散 VAE 的样本质量和似然估计。

提出的方法

• 提出广义重叠变换，将离散玻尔兹曼分布松弛为连续可微形式。
• 应用高斯积分技巧，推导出保持原始玻尔兹曼分布统计特性的连续松弛形式。
• 在 VAE 框架中使用松弛后的分布作为先验，实现通过离散潜在变量的反向传播。
• 结合松弛先验与重要加权自编码器（IWAE），以收紧变分下界并提升模型容量。
• 推导出一个结合松弛先验与解码器下数据似然的可微目标函数。
• 提供一个实现，可复现 MNIST 和 OMNIGLOT 上报告的结果。

实验结果

研究问题

• RQ1 连续松弛的玻尔兹曼先验是否能实现离散 VAE 的重要加权边界训练？
• RQ2 与标准 ELBO 训练相比，所提出的松弛方法在似然和样本质量方面表现如何？
• RQ3 广义重叠变换与高斯积分技巧是否在保持玻尔兹曼先验表达能力的同时，实现可微优化？
• RQ4 使用更紧致边界对具有结构化先验的离散 VAE 性能有何影响？
• RQ5 所提出方法是否能在 MNIST 和 OMNIGLOT 等标准基准数据集上达到最先进性能？

主要发现

• 所提出的松弛方法实现了离散 VAE 的重要加权边界训练，带来更紧致的变分目标和更强的模型容量。
• 在 MNIST 和 OMNIGLOT 上的实验表明，该方法优于以往使用玻尔兹曼先验与标准 ELBO 训练的离散 VAE。
• 广义重叠变换与高斯积分技巧成功地在可微形式中保持了玻尔兹曼先验的表达能力。
• 与先前方法相比，该模型实现了更高的似然值和更优的样本质量，表明其有效利用了先验结构。
• 提供了开源实现，验证了在基准数据集上报告结果的可复现性。