[论文解读] Learning Latent Variable Gaussian Graphical Models

Zhaoshi Meng, Brian Eriksson+1 more|arXiv (Cornell University)|Jun 10, 2014

Bayesian Modeling and Causal Inference参考文献 23被引用 23

一句话总结

本文提出了一种潜在变量高斯图形模型（LVGGM），能够捕捉具有全局潜在因子和局部条件依赖关系的高维数据，通过正则化最大似然估计器学习具有稀疏加低秩结构的精度矩阵。关键贡献是建立了非渐近Frobenius范数误差界 $\mathcal{O}\left(\sqrt{\frac{(s + r_{\text{eff}} \cdot r)\log p}{n}}\right)$，在高维设定下显著快于标准密集型GGM的速率。

ABSTRACT

Gaussian graphical models (GGM) have been widely used in many high-dimensional applications ranging from biological and financial data to recommender systems. Sparsity in GGM plays a central role both statistically and computationally. Unfortunately, real-world data often does not fit well to sparse graphical models. In this paper, we focus on a family of latent variable Gaussian graphical models (LVGGM), where the model is conditionally sparse given latent variables, but marginally non-sparse. In LVGGM, the inverse covariance matrix has a low-rank plus sparse structure, and can be learned in a regularized maximum likelihood framework. We derive novel parameter estimation error bounds for LVGGM under mild conditions in the high-dimensional setting. These results complement the existing theory on the structural learning, and open up new possibilities of using LVGGM for statistical inference.

研究动机与目标

• 解决当真实世界数据表现出边际稀疏性无法捕捉的全局相关性时，稀疏高斯图形模型的局限性。
• 对具有诱导非稀疏边际精度矩阵但条件稀疏结构的高维数据进行建模。
• 在高维设定（$p \gg n$）下，为估计LVGGM参数开发正则化最大似然框架。
• 在温和的结构和不一致性条件下，建立精度矩阵估计器的理论误差界。
• 证明观测协方差矩阵的有效秩随 $p$ 增长缓慢，从而实现比标准密集型GGM更快的收敛速率。

提出的方法

• 将LVGGM表述为观测变量条件依赖于潜在变量的多元高斯模型，导致具有低秩加稀疏结构的精度矩阵。
• 使用带 $\ell_1$-范数的稀疏分量和带核范数的低秩分量的正则化最大似然估计。
• 应用受限强凸性和结构不一致性条件以确保估计的一致性。
• 利用对数似然的几乎强凸性和集中不等式推导非渐近误差界。
• 通过模拟具有不同 $p$、$r$ 和全局与局部效应能量比的LVGGM，实证验证理论速率。
• 通过交叉验证校准正则化参数，使用 $\overline{\sigma}^*$ 和 $\rho^*$ 的样本估计。

实验结果

研究问题

• RQ1 在高维设定下，具有稀疏加低秩精度矩阵的潜在变量高斯图形模型是否能实现比标准密集型GGM更快的收敛速率？
• RQ2 LVGGM的正则化最大似然估计器在何种条件下能实现一致的参数估计？
• RQ3 观测协方差矩阵的有效秩如何随观测变量数 $p$ 和潜在变量数 $r$ 变化？
• RQ4 LVGGM中估计精度矩阵的Frobenius范数误差的理论收敛速率是什么？
• RQ5 全局（潜在）与局部（观测）效应的相对能量如何影响有效秩和估计性能？

主要发现

• 精度矩阵估计器的Frobenius范数误差以速率 $\mathcal{O}\left(\sqrt{\frac{(s + r_{\text{eff}} \cdot r)\log p}{n}}\right)$ 收敛，显著快于标准密集型GGM的速率 $\mathcal{O}\left(\sqrt{\frac{p^2\log p}{n}}\right)$。
• 协方差矩阵的有效秩 $r_{\text{eff}}$ 随 $p$ 增长极慢，即使全局因子较弱，当 $p$ 从80增至500时，$r_{\text{eff}}$ 仅从4增至26。
• Frobenius范数估计的实证误差曲线在将样本量按 $n/(s\log p + r\log(2p))$ 重新缩放后，与理论的 $t^{-1/2}$ 标度一致，证实了推导的速率。
• 所提出的正则化参数 $\lambda \asymp \overline{\sigma}^*\sqrt{\frac{\log p}{n}}$ 和 $\mu \asymp \rho^*\sqrt{\frac{r_{\text{eff}}\log p}{n}}$ 在多种配置下均表现一致。
• 蒙特卡洛模拟证实，有效秩始终比 $p$ 小至少一个数量级，验证了理论假设。
• 理论框架支持在全局潜在因子导致边际非稀疏性但条件稀疏性成立的应用中使用LVGGM而非稀疏GGM。