[论文解读] High dimensional Sparse Gaussian Graphical Mixture Model

Anani Lotsi, Ernst C. Wit|arXiv (Cornell University)|Aug 15, 2013

Bayesian Methods and Mixture Models参考文献 20被引用 12

一句话总结

本文通过在EM算法框架内对精度矩阵施加$l_1$惩罚，提出了一种高维高斯图形混合模型的惩罚最大似然估计器。该方法在调参参数按$ \lambda_n \propto \sqrt{n\log p}$缩放时，能实现对聚类成员关系和稀疏图形结构的一致估计，且在模拟数据和真实基因组数据中均表现出优越的图选择和参数一致性性能。

ABSTRACT

This paper considers the problem of networks reconstruction from heterogeneous data using a Gaussian Graphical Mixture Model (GGMM). It is well known that parameter estimation in this context is challenging due to large numbers of variables coupled with the degeneracy of the likelihood. We propose as a solution a penalized maximum likelihood technique by imposing an $l_{1}$ penalty on the precision matrix. Our approach shrinks the parameters thereby resulting in better identifiability and variable selection. We use the Expectation Maximization (EM) algorithm which involves the graphical LASSO to estimate the mixing coefficients and the precision matrices. We show that under certain regularity conditions the Penalized Maximum Likelihood (PML) estimates are consistent. We demonstrate the performance of the PML estimator through simulations and we show the utility of our method for high dimensional data analysis in a genomic application.

研究动机与目标

• 解决从异质性高维数据中重建潜在图网络的挑战，其中观测值来自多个高斯分量。
• 通过在每个混合分量的精度矩阵上引入$l_1$正则化，提升在$n \ll p$高维设定下的参数可识别性与变量选择能力。
• 在正则条件下建立惩罚最大似然估计器（PMLE）的理论一致性。
• 开发一种高效计算算法，结合EM算法与图形lasso，用于估计稀疏精度矩阵与混合比例。
• 通过模拟数据和真实世界基因组数据集（包括学生考试成绩与流式细胞术信号传导数据）验证该方法的性能。

提出的方法

• 构建一个包含$K$个分量的有限高斯混合模型（GMM），每个分量假设服从具有稀疏精度矩阵的多元正态分布。
• 对每个分量的精度矩阵施加$l_1$惩罚，以诱导稀疏性，并在高维设定下提升可识别性。
• 开发一种惩罚EM算法，其中E步计算后验聚类成员关系，M步使用图形lasso估计稀疏精度矩阵与混合比例。
• 施加一个随$ \sqrt{n\log p}$缩放的调参$ \lambda_n$，以确保图结构与参数估计的一致性。
• 在M步中使用图形lasso算法，高效计算在$l_1$正则化下的稀疏精度矩阵。
• 假设分量数量$K$已事先已知，聚焦于在此条件下的估计与一致性分析。

实验结果

研究问题

• RQ1 对精度矩阵施加$l_1$正则化是否能提升高维高斯图形混合模型中的可识别性与变量选择能力？
• RQ2 基于EM算法与图形lasso的惩罚最大似然估计器（PMLE）在高维渐近条件下是否能对精度矩阵与混合比例实现一致估计？
• RQ3 调参$ \lambda_n$的选择如何影响最终图模型的一致性与性能表现？
• RQ4 所提出的方法能否在异质性数据中有效恢复真实的潜在网络结构，如在模拟与真实基因组数据中所展示的？
• RQ5 在图选择与参数估计精度方面，$ \lambda_n \propto \sqrt{n\log p}$与$ \lambda_n \propto \sqrt{\log p}$相比，其相对性能如何？

主要发现

• 当$ \lambda_n \propto \sqrt{n\log p}$时，PMLE在正则条件下能实现对精度矩阵与混合比例的一致估计。
• 模拟结果表明，$ \lambda_n \propto \sqrt{n\log p}$在图选择性能上更优，F1分数更高且假阳性率更低，相较于$ \lambda_n \propto \sqrt{\log p}$。
• 当$n=2000$时，$ \lambda_n \propto \sqrt{n\log p}$下，$\Theta_1$的F1分数为0.5081，$\Theta_2$为0.4150，表明图结构恢复达到中等至良好水平。
• 在开卷/闭卷考试数据中，61%的学生被分配至一个聚类，39%至另一个聚类，各组内科目间表现出不同的交互模式。
• 在细胞信号传导数据中，90%的细胞被分配至一个分量，关键交互如(pakts473, PIP2)与(PKC, PIP2)在两个分量中均被识别，而(pakts473, praf)与(PIP2, p44.42)则显示出差异。
• 该方法成功恢复了有意义的生物网络结构，展示了其在具有异质亚群的高维基因组数据分析中的实用性。