[论文解读] Copula Variational Bayes inference via information geometry

Viet Hung Tran|arXiv (Cornell University)|Mar 29, 2018

Bayesian Modeling and Causal Inference参考文献 42被引用 5

一句话总结

本文提出协同变分贝叶斯（CVB），一种广义框架，通过使用协同结构建模依赖关系，放宽了传统变分贝叶斯中的独立性假设。利用信息几何，CVB 将后验真实分布迭代投影到受协同约束的流形上，通过增强的层次混合模型实现全局最优近似，在相关高斯混合模型中，模拟结果表明其分类准确率显著优于 VB、EM 和 k-means。

ABSTRACT

Variational Bayes (VB), also known as independent mean-field approximation, has become a popular method for Bayesian network inference in recent years. Its application is vast, e.g. in neural network, compressed sensing, clustering, etc. to name just a few. In this paper, the independence constraint in VB will be relaxed to a conditional constraint class, called copula in statistics. Since a joint probability distribution always belongs to a copula class, the novel copula VB (CVB) approximation is a generalized form of VB. Via information geometry, we will see that CVB algorithm iteratively projects the original joint distribution to a copula constraint space until it reaches a local minimum Kullback-Leibler (KL) divergence. By this way, all mean-field approximations, e.g. iterative VB, Expectation-Maximization (EM), Iterated Conditional Mode (ICM) and k-means algorithms, are special cases of CVB approximation. For a generic Bayesian network, an augmented hierarchy form of CVB will also be designed. While mean-field algorithms can only return a locally optimal approximation for a correlated network, the augmented CVB network, which is an optimally weighted average of a mixture of simpler network structures, can potentially achieve the globally optimal approximation for the first time. Via simulations of Gaussian mixture clustering, the classification's accuracy of CVB will be shown to be far superior to that of state-of-the-art VB, EM and k-means algorithms.

研究动机与目标

• 为克服均场变分贝叶斯（VB）的局限性，放宽后验近似中严格的独立性假设。
• 将 VB 作为更广泛协同基础近似类的一个特例进行推广，以捕捉概率模型中的复杂依赖关系。
• 通过构建增强的 CVB 网络作为局部 CVB 近似的加权混合，开发一种用于贝叶斯网络的全局最优推断框架。
• 通过模拟证明，CVB 在相关数据的准确率和收敛性方面显著优于最先进的均场方法（如 VB、EM 和 k-means）。

提出的方法

• 提出一种基于协同的变分近似，其中联合后验被建模为由协同密度调制的边缘分布乘积，从而实现灵活的依赖结构。
• 利用信息几何通过 Bregman 散度最小化，将迭代 VB 更新解释为投影到协同约束流形上。
• 推导出一种增强的 CVB 网络，作为更简单 CVB 近似的层次混合模型，实现在局部极小值上的全局优化。
• 利用 Sklar 定理将真实联合分布分解为协同和边缘成分，确保协同捕捉所有变量间依赖关系。
• 采用迭代优化方法在保持固定协同结构的同时更新边缘分布，最小化与真实后验的 KL 散度。
• 引入多种 CVB 变体（如 CVB₁、CVB₂、CVB₃），以探索不同协同形式，并评估其在相关性增加和聚类分离度提高时的鲁棒性。

实验结果

研究问题

• RQ1 能否将变分贝叶斯中的独立性约束推广，通过协同结构实现灵活且结构化的依赖关系建模？
• RQ2 在相关概率模型中，使用协同结构的变分推断相比均场方法，如何提升近似质量？
• RQ3 VB 中的迭代投影过程能否被几何地重新解释为对协同约束流形的 Bregman 投影？
• RQ4 作为局部 CVB 近似的加权混合，增强的 CVB 网络是否能在均场方法失效时实现后验近似的全局最优？
• RQ5 CVB 在相关高斯混合模型的聚类准确率方面，相较于 VB、EM 和 k-means 的表现优势有多大？

主要发现

• 当聚类间距离超过聚类方差时，CVB 在相关高斯混合数据上的分类准确率显著更高——平均达到 90% 的正确分类，而 VB、EM 和 k-means 仅达到 80%。
• 随着相关性增加，CVB₂ 和 CVB₃ 变体保持高性能，而启发式 CVB₁ 性能下降，表明其对协同形式选择敏感。
• 作为局部 CVB 近似的加权混合，增强的 CVB 网络首次实现了全局最优后验近似，克服了均场方法易陷入局部极小值的局限。
• 所有标准均场算法——VB、EM、ICM 和 k-means——均被证明是特定协同结构（如独立性下的均匀协同）下所提出 CVB 框架的特例。
• 在多种模拟设置中，CVB 的 KL 散度和均方误差（MSE）始终低于 VB、EM 和 k-means，证实了其近似质量的提升。
• 理论分析确认，CVB 通过在协同约束流形上迭代投影，最小化与真实后验的 Bregman 散度，为该方法提供了几何基础。