[论文解读] Factor Analysis, Probabilistic Principal Component Analysis, Variational Inference, and Variational Autoencoder: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Jan 3, 2021

Neural Networks and Applications被引用 14

一句话总结

本教程与综述论文全面概述了因子分析、概率PCA、变分推断以及变分自编码器（VAEs）的理论基础、数学推导及其相互关联。它展示了这些生成模型如何通过EM算法或反向传播最大化证据下界（ELBO），利用潜在变量实现降维与数据生成，其中概率PCA具有闭式解，而VAEs则采用基于神经网络的训练方法。

ABSTRACT

This is a tutorial and survey paper on factor analysis, probabilistic Principal Component Analysis (PCA), variational inference, and Variational Autoencoder (VAE). These methods, which are tightly related, are dimensionality reduction and generative models. They assume that every data point is generated from or caused by a low-dimensional latent factor. By learning the parameters of distribution of latent space, the corresponding low-dimensional factors are found for the sake of dimensionality reduction. For their stochastic and generative behaviour, these models can also be used for generation of new data points in the data space. In this paper, we first start with variational inference where we derive the Evidence Lower Bound (ELBO) and Expectation Maximization (EM) for learning the parameters. Then, we introduce factor analysis, derive its joint and marginal distributions, and work out its EM steps. Probabilistic PCA is then explained, as a special case of factor analysis, and its closed-form solutions are derived. Finally, VAE is explained where the encoder, decoder and sampling from the latent space are introduced. Training VAE using both EM and backpropagation are explained.

研究动机与目标

• 提供一个统一的教程与综述，将因子分析、概率PCA、变分推断与VAEs作为紧密关联的生成模型，用于降维与数据生成。
• 推导证据下界（ELBO）并解释其通过期望最大化（EM）算法在潜在变量模型中实现最大化的过程。
• 说明由于各向同性且不相关的噪声假设，概率PCA如何成为因子分析的一个特例，并由此获得闭式解。
• 解释变分自编码器（VAEs）的架构与训练方法，包括编码器/解码器网络的作用与随机采样机制，同时涵盖EM与反向传播两种训练方式。
• 强调关键挑战，如VAEs生成图像模糊的问题，并讨论相关改进方法，如对抗性VAEs与分层变体。

提出的方法

• 将证据下界（ELBO）推导为潜在变量模型中对数似然的可处理下界。
• 应用期望最大化（EM）算法，通过E步（后验推断）与M步（参数更新）迭代优化因子分析与概率PCA中的参数。
• 通过假设数据空间中存在各向同性且不相关的噪声，推导出概率PCA的闭式解。
• 将VAE框架引入为变分推断的神经网络实现，其中编码器用于近似后验分布，解码器用于似然建模。
• 通过重参数化技巧，结合EM（通过变分推断）与反向传播，实现端到端的VAE训练。
• 利用近似后验与先验之间的KL散度对潜在空间进行正则化，确保其保持接近标准正态分布。

实验结果

研究问题

• RQ1 变分推断如何为潜在变量模型中难以计算的后验分布提供可处理的近似？
• RQ2 因子分析与概率PCA的数学推导及EM更新公式为何？
• RQ3 在何种特定噪声假设下，概率PCA可简化为闭式解？
• RQ4 VAE架构如何在神经网络设置中实现变分推断？
• RQ5 在VAEs中，基于EM的训练与基于反向传播的训练之间存在哪些关键差异与联系？

主要发现

• ELBO为对数似然提供了一个下界，可通过其最大化来学习潜在变量模型的参数，是变分推断中的核心目标函数。
• 因子分析将数据建模为潜在变量的线性变换加上高斯噪声，使用EM算法迭代估计参数。
• 概率PCA是因子分析的一个特例，其假设噪声为i.i.d.高斯分布，从而可获得主成分方向的闭式解。
• VAEs通过神经网络实现变分推断，其中编码器近似后验分布，解码器建模似然函数，支持端到端训练。
• 尽管由于ELBO近似与分布约束导致生成图像模糊，VAEs在生成建模中仍具强大能力，并启发了对抗性VAEs与分层VAEs等变体。
• 本文在理论与实践之间建立了经典统计模型（因子分析、PPCA）与现代深度生成模型（VAEs）之间的桥梁，揭示了其共享的概率基础。