[论文解读] A Tutorial on VAEs: From Bayes' Rule to Lossless Compression

Ronald Yu|arXiv (Cornell University)|Jun 18, 2020

Gaussian Processes and Bayesian Inference参考文献 14被引用 14

一句话总结

本教程从贝叶斯原理和信息论出发，全面推导了变分自编码器（VAEs）的推导过程，通过贝叶斯法则、重要性采样和无损压缩，阐明了其目标。它指出了几个关键误解——如使用均方误差（MSE）损失进行训练，或将潜在向量视为参数——并通过一个二维小样本示例表明，VAEs 虽能建模复杂分布，但可能因 ELBO 对低方差后验的偏好，而在潜在空间中难以实现高效的覆盖。

ABSTRACT

The Variational Auto-Encoder (VAE) is a simple, efficient, and popular deep maximum likelihood model. Though usage of VAEs is widespread, the derivation of the VAE is not as widely understood. In this tutorial, we will provide an overview of the VAE and a tour through various derivations and interpretations of the VAE objective. From a probabilistic standpoint, we will examine the VAE through the lens of Bayes' Rule, importance sampling, and the change-of-variables formula. From an information theoretic standpoint, we will examine the VAE through the lens of lossless compression and transmission through a noisy channel. We will then identify two common misconceptions over the VAE formulation and their practical consequences. Finally, we will visualize the capabilities and limitations of VAEs using a code example (with an accompanying Jupyter notebook) on toy 2D data.

研究动机与目标

• 澄清 VAE 的概率论和信息论基础，超越实践中常见的误解。
• 通过多种推导方式解释 VAE 的目标：贝叶斯推断、重要性采样和变量变换。
• 从无损压缩和噪声信道传输的角度重新诠释 VAE，将其与信息论联系起来。
• 识别并纠正两个广泛存在的误解：使用 MSE 损失训练 VAE 和将潜在向量视为参数。
• 通过一个可可视化的二维数据示例（附 Jupyter Notebook）实证演示 VAE 的能力与局限性。

提出的方法

• 使用贝叶斯法则推导 VAE 目标，展示证据下界（ELBO）如何从后验近似中产生。
• 应用重要性采样以改进对数似然的估计，降低训练目标中的偏差。
• 利用变量变换公式形式化重参数化技巧，以实现潜在空间中的梯度估计。
• 将 VAE 重新诠释为无损压缩系统，其中编码器压缩数据，解码器以最小信息损失重建数据。
• 将 VAE 建模为噪声信道，其中潜在变量作为随机瓶颈，与率失真理论相联系。
• 使用具有多模态分布的二维小样本数据集，可视化 VAE 的潜在空间、密度估计和重建行为。

实验结果

研究问题

• RQ1 VAE 目标如何从贝叶斯推断和证据下界（ELBO）中推导出来？
• RQ2 VAE 如何通过无损压缩和噪声信道传输的视角进行解释？
• RQ3 为何标准 VAE 目标会抑制潜在空间中低概率区域的探索？
• RQ4 将 VAE 训练误认为可使用均方误差（MSE）损失，其实际后果是什么？
• RQ5 重要性加权自编码器（IWAE）在对数似然估计和潜在空间覆盖方面，相较于标准 VAE 有何改进？

主要发现

• VAE 中的负 ELBO 目标引入了偏差，会抑制模型探索潜在空间中低概率区域，尤其是在后验方差随训练减小的情况下。
• 使用重要性采样近似对数似然，相比标准 ELBO 能够得到更紧的真对数似然上界，从而实现更好的密度估计。
• 使用 10 个重要性样本的 IWAE 在负对数似然得分上显著优于标准 VAE，即使每次迭代的有效数据量仅为一半。
• 随着后验方差减小，VAE 的潜在空间扩展速度变慢，可能导致收敛延迟或无法完全覆盖高概率数据区域。
• 误以为 VAE 可以使用 MSE 损失训练，会引发对模型概率本质的错误理解，可能导致重建结果模糊。
• 尽管在理想条件下（如完全解耦的潜在变量或高维离散数据）理论上可实现完美建模，但此类解在实践中通常难以通过梯度下降学习到。