[论文解读] Inferring Parameters and Structure of Latent Variable Models by Variational Bayes

Hagai Attias|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 23被引用 536

一句话总结

本文提出了一种变分贝叶斯框架，用于在潜在变量模型中联合推断参数与结构，提供了一种非高斯、解析的全后验分布近似方法，无需采样或黑塞矩阵计算。该方法推广了EM算法并保证收敛，使高斯混合模型和盲源分离等模型的鲁棒贝叶斯学习成为可能。

ABSTRACT

Current methods for learning graphical models with latent variables and a fixed structure estimate optimal values for the model parameters. Whereas this approach usually produces overfitting and suboptimal generalization performance, carrying out the Bayesian program of computing the full posterior distributions over the parameters remains a difficult problem. Moreover, learning the structure of models with latent variables, for which the Bayesian approach is crucial, is yet a harder problem. In this paper I present the Variational Bayes framework, which provides a solution to these problems. This approach approximates full posterior distributions over model parameters and structures, as well as latent variables, in an analytical manner without resorting to sampling methods. Unlike in the Laplace approximation, these posteriors are generally non-Gaussian and no Hessian needs to be computed. The resulting algorithm generalizes the standard Expectation Maximization algorithm, and its convergence is guaranteed. I demonstrate that this algorithm can be applied to a large class of models in several domains, including unsupervised clustering and blind source separation.

研究动机与目标

• 解决潜在变量模型中频率学派参数估计的局限性，后者常导致过拟合和泛化性能差。
• 克服潜在变量模型中对参数和模型结构进行完整贝叶斯推断的计算不可行性。
• 开发一种可扩展的、解析的近似方法，避免采样和基于黑塞矩阵的拉普拉斯近似。
• 通过原则化的贝叶斯方法实现潜在变量模型中的结构学习，这对模型选择和鲁棒性至关重要。
• 将EM算法推广至统一框架，支持对参数、结构和隐变量的全后验推断。

提出的方法

• 提出一种变分贝叶斯框架，使用可处理的变分分布来近似模型参数、隐变量和结构的全后验分布。
• 采用均值场变分推断，将联合后验分解为条件独立的分量，从而实现解析更新。
• 推导出推广了EM算法E步和M步的变分更新方程，同时在参数和结构中引入不确定性。
• 通过使用非高斯、灵活的变分分布，避免了黑塞矩阵计算，与拉普拉斯近似形成对比。
• 引入变分下界（证据下界，ELBO），在优化过程中最大化该下界，从而保证收敛。
• 将该框架应用于广泛模型类别，包括高斯混合模型、因子分析和独立成分分析，且推理过程保持一致。

实验结果

研究问题

• RQ1 能否为潜在变量模型开发一种可扩展、解析的贝叶斯推断方法，避免采样和黑塞矩阵计算？
• RQ2 如何在统一框架中近似参数和模型结构的全后验分布？
• RQ3 与标准EM算法相比，该方法在潜在变量模型中在多大程度上提升了泛化性能并避免了过拟合？
• RQ4 该框架能否推广至处理聚类和盲源分离等领域的多样化模型结构？
• RQ5 当应用于联合参数与结构学习时，变分推断算法的收敛特性如何？

主要发现

• 变分贝叶斯框架为参数、结构和隐变量的全后验分布提供了非高斯、解析的近似，避免了采样和黑塞矩阵计算。
• 该算法推广了EM算法，并通过变分下界单调递增保证了收敛性。
• 该方法实现了潜在变量模型中的鲁棒贝叶斯学习，相比最大似然估计，有效减少了过拟合并提升了泛化性能。
• 该框架适用于多种模型，包括高斯混合模型和盲源分离，且推理过程一致且可扩展。
• 实验结果表明，该方法在无监督聚类和源分离任务中表现具有竞争力，且结构学习能力得到提升。
• 该方法支持对模型结构和参数的联合推断，适用于潜在变量系统中的贝叶斯模型选择。