[论文解读] Learning High-Dimensional Mixtures of Graphical Models

Animashree Anandkumar, Daniel Hsu+2 more|arXiv (Cornell University)|Mar 4, 2012

Bayesian Modeling and Causal Inference参考文献 35被引用 6

一句话总结

该论文提出了一种新颖且高效的方法，通过将高维离散图模型的混合模型近似为树混合模型，来学习这些模型。该方法利用谱分解和条件独立性检验，在稀疏分离器条件下恢复联合图结构和组件参数，实现了树混合模型和有界度数图等模型的多项式样本和计算复杂度。

ABSTRACT

We consider unsupervised estimation of mixtures of discrete graphical models, where the class variable corresponding to the mixture components is hidden and each mixture component over the observed variables can have a potentially different Markov graph structure and parameters. We propose a novel approach for estimating the mixture components, and our output is a tree-mixture model which serves as a good approximation to the underlying graphical model mixture. Our method is efficient when the union graph, which is the union of the Markov graphs of the mixture components, has sparse vertex separators between any pair of observed variables. This includes tree mixtures and mixtures of bounded degree graphs. For such models, we prove that our method correctly recovers the union graph structure and the tree structures corresponding to maximum-likelihood tree approximations of the mixture components. The sample and computational complexities of our method scale as $\poly(p, r)$, for an $r$-component mixture of $p$-variate graphical models. We further extend our results to the case when the union graph has sparse local separators between any pair of observed variables, such as mixtures of locally tree-like graphs, and the mixture components are in the regime of correlation decay.

研究动机与目标

• 解决在组件结构和参数未知且类别变量隐藏的情况下，学习高维离散图模型混合的挑战。
• 克服基于EM的方法在高维下扩展性差且缺乏理论保证的局限性。
• 为在联合图具有稀疏顶点分离器时估计混合组件，开发一种可证明高效的算法，从而通过树近似实现可 tractable 推断。
• 将理论保证从混合产品分布扩展到更丰富的模型，如树混合模型和有界度数图模型。
• 提供一个统一框架，结合图模型选择与谱分解，用于混合学习，具备样本和计算效率。

提出的方法

• 使用基于秩的准则估计联合图结构，该准则推广了条件独立性检验，用于识别马尔可夫图联合体中的邻居。
• 应用谱分解将观测到的成对边缘分布分解为组件模型，适应来自产品分布混合的技术。
• 采用三阶段流程：(1) 联合图结构估计，(2) 通过谱方法估计参数，(3) 对每个混合组件进行树近似。
• 利用矩阵扰动理论（通过引理15–17）在模型误设条件下，对特征值和特征向量估计的误差进行上界控制。
• 通过控制谱分解过程中的条件数和特征值间隔，确保方法的鲁棒性。
• 构建保留最大似然结构的树混合近似，同时支持高效的信念传播推断。

实验结果

研究问题

• RQ1 当混合组件具有不同图结构和参数时，我们能否高效学习高维离散图模型的混合？
• RQ2 在联合图具有稀疏分离器等结构条件下，所提方法在何种条件下可实现可证明的样本和计算效率？
• RQ3 当隐式类别变量不可观测时，如何准确估计混合模型的参数和组件结构？
• RQ4 在数据拟合和推断可 tractable 性方面，树混合模型在多大程度上可作为一般图模型混合的良好近似？
• RQ5 在高维设置下，针对图模型混合的谱估计，可建立哪些理论保证？

主要发现

• 该方法实现了多项式样本和计算复杂度，对于 $p$-维图模型的 $r$-组件混合，复杂度为 $\operatorname{poly}(p,r)$。
• 当联合图具有稀疏顶点分离器时，可正确恢复联合图结构，该条件在树混合模型和有界度数图中成立。
• 在相同结构假设下，该算法可恢复混合组件的最大似然树近似。
• 理论保证已扩展至具有稀疏局部分离器和相关性衰减的模型，如局部树状图。
• 谱分解技术成功适配于图模型混合，误差界通过矩阵扰动理论推导得出。
• 在较弱条件下，该方法可证明地恢复结构和参数，其可扩展性和理论可靠性优于EM方法。