[论文解读] A Generalized Mean Field Algorithm for Variational Inference in Exponential Families

Eric P. Xing, Michael I. Jordan+1 more|arXiv (Cornell University)|Oct 19, 2012

Gaussian Processes and Bayesian Inference参考文献 11被引用 149

一句话总结

本文提出了一种广义平均场（GMF）算法，用于指数族模型中的变分推断，通过将复杂模型分解为不相交的变量簇，并利用固定点方程迭代优化簇边缘分布，实现了通用的、模型无关的近似推断。该方法确保收敛性，保留簇内依赖关系，并在多个典型模型上与信念传播相比表现出具有竞争力的推断质量。

ABSTRACT

The mean field methods, which entail approximating intractable probability distributions variationally with distributions from a tractable family, enjoy high efficiency, guaranteed convergence, and provide lower bounds on the true likelihood. But due to requirement for model-specific derivation of the optimization equations and unclear inference quality in various models, it is not widely used as a generic approximate inference algorithm. In this paper, we discuss a generalized mean field theory on variational approximation to a broad class of intractable distributions using a rich set of tractable distributions via constrained optimization over distribution spaces. We present a class of generalized mean field (GMF) algorithms for approximate inference in complex exponential family models, which entails limiting the optimization over the class of cluster-factorizable distributions. GMF is a generic method requiring no model-specific derivations. It factors a complex model into a set of disjoint variable clusters, and uses a set of canonical fix-point equations to iteratively update the cluster distributions, and converge to locally optimal cluster marginals that preserve the original dependency structure within each cluster, hence, fully decomposed the overall inference problem. We empirically analyzed the effect of different tractable family (clusters of different granularity) on inference quality, and compared GMF with BP on several canonical models. Possible extension to higher-order MF approximation is also discussed.

研究动机与目标

• 开发一种适用于指数族模型的通用、模型无关的变分推断方法，避免进行特定模型的推导。
• 解决传统平均场方法中缺乏收敛性保证和推断质量不明确的问题。
• 通过将复杂模型分解为可处理的、不相交的变量簇，实现高效的近似推断。
• 在推断过程中保留每个簇内的原始依赖结构，以提高近似精度。
• 通过实证评估簇粒度对推断质量的影响，并与信念传播进行比较。

提出的方法

• GMF算法将优化限制在簇因子可分解的分布上，将模型分解为不相交的变量簇。
• 采用一组标准的固定点方程，迭代更新簇边缘分布，同时保留簇内依赖关系。
• 在分布空间上执行约束优化，以确保收敛到局部最优解。
• 该算法源自广义平均场理论，将经典平均场方法扩展到更丰富的可处理分布族。
• 支持灵活的簇粒度，允许在近似精度与计算成本之间进行权衡。
• 该方法适用于广泛的指数族模型，无需进行特定模型的推导。

实验结果

研究问题

• RQ1 能否开发一种通用的平均场算法，使得在指数族模型中进行变分推断时无需进行特定模型的推导？
• RQ2 簇粒度的选择如何影响复杂模型中变分近似的质量？
• RQ3 GMF算法在典型模型上的推断质量是否优于或与信念传播相当？
• RQ4 广义平均场框架能否保证收敛性，并提供真实似然的下界？
• RQ5 将GMF扩展到高阶近似时，其理论和实际限制是什么？

主要发现

• GMF算法在多个典型模型（包括伊辛模型和玻尔兹曼网络）上与信念传播相比表现出具有竞争力的推断质量。
• 不同的簇粒度显著影响推断精度，通常更细的簇能提升近似质量。
• 由于其固定点迭代结构和约束优化框架，该方法保证收敛。
• 该算法保留了簇内依赖关系，与标准平均场方法相比，显著提升了变分近似的质量。
• 实证结果表明，GMF能为真实对数似然提供紧致的下界，支持其作为可靠推断工具的使用。
• 该方法可扩展至高阶平均场近似，表明在复杂模型中具有进一步提升的潜力。