[论文解读] Monte Carlo Variational Auto-Encoders

Achille Thin, Nikita Kotelevskii+4 more|arXiv (Cornell University)|Jun 30, 2021

Generative Adversarial Networks and Image Synthesis被引用 10

一句话总结

本文提出蒙特卡洛变分自编码器（MCVAEs），利用退火重要性采样（AIS）和序列重要性采样（SIS），结合无向MCMC转移——特别是朗之万动力学——以收紧变分自编码器（VAEs）中的证据下界（ELBO）。该方法提出了一种可微分的梯度估计器，用于基于AIS和SIS的ELBO，采用马尔可夫链蒙特卡罗核的非标准表示形式与重参数化技巧，实现了端到端训练，具有更低方差的梯度，并在MNIST、CIFAR-10和CelebA数据集上实现了更优的似然估计。

ABSTRACT

Variational auto-encoders (VAE) are popular deep latent variable models which are trained by maximizing an Evidence Lower Bound (ELBO). To obtain tighter ELBO and hence better variational approximations, it has been proposed to use importance sampling to get a lower variance estimate of the evidence. However, importance sampling is known to perform poorly in high dimensions. While it has been suggested many times in the literature to use more sophisticated algorithms such as Annealed Importance Sampling (AIS) and its Sequential Importance Sampling (SIS) extensions, the potential benefits brought by these advanced techniques have never been realized for VAE: the AIS estimate cannot be easily differentiated, while SIS requires the specification of carefully chosen backward Markov kernels. In this paper, we address both issues and demonstrate the performance of the resulting Monte Carlo VAEs on a variety of applications.

研究动机与目标

• 解决标准VAE在近似真实对数似然时因ELBO界过松而导致的局限性。
• 克服以往难以对AIS和SIS估计器进行反向传播的问题，从而阻碍其在端到端学习中的应用。
• 开发一种方法，将高级蒙特卡罗估计器（如AIS和SIS）整合进VAE框架，而无需训练后向马尔可夫核。
• 通过使用高维、低方差的重要性采样估计器，收紧ELBO，从而提升变分推断的质量。
• 证明基于SIS的MCVAE采用无向朗之万转移，在真实世界数据集上的ELBO和对数似然方面优于标准VAE和IWAE。

提出的方法

• 提出一种基于SIS的新ELBO，采用无向马尔可夫转移核（特别是未调整的朗之万动力学），避免学习后向核的需要。
• 利用重参数化技巧推导出基于SIS的ELBO的无偏梯度估计，从而实现高效的反向传播。
• 提出一种马尔可夫链蒙特卡罗核的非标准表示形式，使采样过程可微，从而实现基于AIS的ELBO的梯度估计。
• 采用方差减少技术以稳定基于AIS的ELBO的训练，该方法原本受高方差REINFORCE型梯度的影响。
• 使用从先验到联合模型的一系列退火桥分布来定义AIS路径，路径中包含$K$步的MCMC转移。
• 将所得的MCVAE模型应用于图像生成任务，采用标准VAE架构，包括卷积编码器和解码器，以及因子化的伯努利/高斯似然函数。

实验结果

研究问题

• RQ1 能否在VAE中使用退火重要性采样（AIS）来构建更紧的ELBO，同时实现可微分训练？
• RQ2 如何使马尔可夫链蒙特卡罗转移核可微，以支持基于AIS的VAE中的梯度优化？
• RQ3 使用未调整的朗之万动力学（ULA）进行序列重要性采样（SIS）是否能获得优于标准VAE或IWAE的ELBO和对数似然？
• RQ4 在MCVAE训练中增加MCMC步数时，计算成本与性能提升之间的权衡如何？
• RQ5 基于SIS的MCVAE采用无向转移是否能在ELBO紧致性和似然估计方面优于标准VAE和基于AIS的MCVAE？

主要发现

• L-MCVAE（基于SIS且采用朗之万动力学）在MNIST数据集上使用K=5时，测试对数似然达到68.09 ± 0.10，优于IWAE（69.43 ± 0.03）和标准VAE。
• A-MCVAE（基于AIS）在MNIST数据集上使用K=3时，测试对数似然达到69.97 ± 0.99，表明在某些设置下AIS可产生比SIS更紧的ELBO。
• 在L-MCVAE中增加MCMC步数（K）可同时提升ELBO和保留数据的对数似然，当K=10时在CIFAR-10上达到68.36 ± 0.04。
• L-MCVAE在训练过程中表现出更快的收敛速度和更好的稳定性，归因于更低方差的梯度估计。
• 所提方法在MNIST（K=5时为68.09 ± 0.10）和CIFAR-10（K=10时为67.76 ± 0.04）上实现了当前最优的对数似然，优于标准VAE和IWAE。
• 实证结果证实，基于SIS的MCVAE采用无向转移提供了ELBO紧致性与梯度方差之间的有利权衡，使其比基于AIS的替代方案更具实用性。