[论文解读] Don't Blame the ELBO! A Linear VAE Perspective on Posterior Collapse

James Lucas, George Tucker+2 more|arXiv (Cornell University)|Nov 6, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 18

一句话总结

本文通过分析线性VAE，挑战了ELBO目标函数导致变分自编码器后验坍缩的普遍观点，证明线性VAE能精确恢复pPCA解。研究证明ELBO在对数边缘似然之外不会引入虚假局部最大值，并表明观测噪声在逃离坍缩解中起关键作用——这些见解可推广至非线性VAE。

ABSTRACT

Posterior collapse in Variational Autoencoders (VAEs) arises when the variational posterior distribution closely matches the prior for a subset of latent variables. This paper presents a simple and intuitive explanation for posterior collapse through the analysis of linear VAEs and their direct correspondence with Probabilistic PCA (pPCA). We explain how posterior collapse may occur in pPCA due to local maxima in the log marginal likelihood. Unexpectedly, we prove that the ELBO objective for the linear VAE does not introduce additional spurious local maxima relative to log marginal likelihood. We show further that training a linear VAE with exact variational inference recovers an identifiable global maximum corresponding to the principal component directions. Empirically, we find that our linear analysis is predictive even for high-capacity, non-linear VAEs and helps explain the relationship between the observation noise, local maxima, and posterior collapse in deep Gaussian VAEs.

研究动机与目标

• 挑战广泛存在的假设，即ELBO目标函数导致VAE中的后验坍缩。
• 将线性VAE作为可处理的模型，以理解后验坍缩的根本原因。
• 探究ELBO是否引入导致后验坍缩的虚假局部最大值。
• 确定观测噪声在VAE训练过程中逃离次优解中的作用。
• 将线性模型中的见解推广至高容量的非线性VAE。

提出的方法

• 分析具有对角线变分后验的线性VAE，以建立与概率主成分分析（pPCA）的直接对应关系。
• 证明线性VAE中ELBO的全局最优解可恢复真实主成分方向，而不仅限于其子空间。
• 表明线性VAE的ELBO目标函数在对数边缘似然优化之外，不引入额外的虚假局部最大值。
• 通过pPCA驻点的理论分析，将观测噪声方差与坍缩解的稳定性联系起来。
• 在MNIST和CelebA数据集上对深度高斯VAE进行实证评估，调整观测噪声并利用KL散度测量后验坍缩。
• 应用KL退火策略，并在训练过程中追踪潜在维度的坍缩，以验证理论预测。

实验结果

研究问题

• RQ1 ELBO目标函数是否在线性VAE中引入导致后验坍缩的虚假局部最大值？
• RQ2 线性VAE能否恢复精确的主成分方向，且该解在ELBO下是否为全局最优？
• RQ3 观测噪声如何影响对应于后验坍缩的局部最大值的稳定性？
• RQ4 线性VAE中的见解是否可推广至高容量的非线性VAE？
• RQ5 控制观测噪声是否有助于在深度VAE中逃离坍缩解？

主要发现

• 线性VAE的ELBO并未引入任何超出对数边缘似然优化的虚假局部最大值。
• 线性VAE ELBO的全局最优解可恢复精确的主成分方向，而不仅限于其子空间。
• pPCA中的后验坍缩源于对数边缘似然的局部最大值，而非ELBO目标函数。
• 观测噪声在逃离坍缩解中起关键作用——降低噪声有助于逃离次优局部最大值。
• 在深度高斯VAE上的实证结果表明，较低的观测噪声与后验坍缩程度降低相关。
• 在CelebA数据集上，当观测噪声固定为0.001时，后验坍缩达到2680.2%（5次运行的平均值），但通过调节噪声可将坍缩降低至483.8%。