[論文レビュー] Learning Latent Variable Gaussian Graphical Models

Zhaoshi Meng, Brian Eriksson+1 more|arXiv (Cornell University)|Jun 10, 2014

Bayesian Modeling and Causal Inference参考文献 23被引用数 23

ひとこと要約

本稿では、高次元データにグローバルな潜在要因と局所的な条件付き依存関係を捉えるための潜在変数付きガウスグラフィカルモデル（LVGGM）を提案する。正則化最大尤度推定法を用いて、スパース＋低ランク構造を持つ精度行列を学習する。主な貢献は、非漸近的フロベニウスノルム誤差バウンド $\mathcal{O}\left(\sqrt{\frac{(s + r_{\text{eff}} \cdot r)\log p}{n}}\right)$ の導出であり、これは高次元設定下で標準的な密行列GGMのレートよりも顕著に速い。

ABSTRACT

Gaussian graphical models (GGM) have been widely used in many high-dimensional applications ranging from biological and financial data to recommender systems. Sparsity in GGM plays a central role both statistically and computationally. Unfortunately, real-world data often does not fit well to sparse graphical models. In this paper, we focus on a family of latent variable Gaussian graphical models (LVGGM), where the model is conditionally sparse given latent variables, but marginally non-sparse. In LVGGM, the inverse covariance matrix has a low-rank plus sparse structure, and can be learned in a regularized maximum likelihood framework. We derive novel parameter estimation error bounds for LVGGM under mild conditions in the high-dimensional setting. These results complement the existing theory on the structural learning, and open up new possibilities of using LVGGM for statistical inference.

研究の動機と目的

• 実世界のデータがマージナルなスパarsityでは捉えきれないグローバル相関を示す場合に、スパースガウスグラフィカルモデルの限界を解消すること。
• 潜在要因が非スパースなマージナル精度行列を誘発するが、条件付きにスパースな構造を持つ高次元データをモデル化すること。
• 高次元設定（$p \gg n$）におけるLVGGMパラメータの推定のための正則化最大尤度フレームワークを開発すること。
• ややきつい構造的および一貫性条件の下で、精度行列推定量の理論的誤差バウンドを確立すること。
• 共分散行列の有効ランクが$p$とともにゆっくりと増加することを示し、これにより標準的な密行列GGMよりも速い収束レートが達成可能であること。

提案手法

• 観測変数が潜在変数に条件付きで依存する多変量ガウスモデルとしてLVGGMを定式化し、低ランク＋スパース構造を持つ精度行列を導出する。
• スパース成分には$l_1$-ノルム、低ランク成分にはノルムを用いた正則化最大尤度推定法を適用する。
• 推定の一貫性を保証するため、制限付き強い凸性および構造的非一貫性条件を適用する。
• 対数尤度のほぼ強い凸性および集中不等式を用いて、非漸近的誤差バウンドを導出する。
• シミュレーションを通じて、$p$、$r$、およびグローバル効果とローカル効果のエネルギー比を変化させたLVGGMの理論的レートを実証的に検証する。
• サンプル推定値$\overline{\sigma}^*$および$a^*$を用いた交差検証により、正則化パラメータをキャリブレーションする。

実験結果

リサーチクエスチョン

• RQ1 スパース＋低ランク精度行列を有する潜在変数付きガウスグラフィカルモデルは、高次元設定下で標準的な密行列GGMよりも速い収束レートを達成できるか？
• RQ2 LVGGMの正則化最大尤度推定量が、どのような条件下で一貫したパラメータ推定を達成できるか？
• RQ3 観測共分散行列の有効ランクは、観測変数の数$p$および潜在変数の数$r$とともにどのようにスケーリングされるか？
• RQ4 LVGGMにおける推定精度行列のフロベニウスノルム誤差の理論的収束レートは何か？
• RQ5 グローバル（潜在）およびローカル（観測）効果の相対的エネルギーは、有効ランクおよび推定性能にどのように影響するか？

主な発見

• 精度行列推定量のフロベニウスノルム誤差は、$\mathcal{O}\left(\sqrt{\frac{(s + r_{\text{eff}} \cdot r)\log p}{n}}\right)$ のレートで収束する。これは、標準的な密行列GGMのレート$\mathcal{O}\left(\sqrt{\frac{p^2\log p}{n}}\right)$ より顕著に速い。
• 共分散行列の有効ランク$r_{\text{eff}}$は、$p$とともに非常にゆっくりと増加する。$p$が80から500に増加しても、$r_{\text{eff}}$は4から26にしか増加せず、グローバル要因が弱くても同様である。
• フロベニウスノルム推定の実験的誤差曲線は、サンプルサイズを$n/(s\log p + r\log(2p))$ でスケーリングした場合に理論的$t^{-1/2}$スケーリングと一致し、導出されたレートを確認する。
• 提案された正則化パラメータ$\lambda \asymp \overline{\sigma}^*\sqrt{\frac{\log p}{n}}$ および $\mu \asymp \rho^*\sqrt{\frac{r_{\text{eff}}\log p}{n}}$ は、多様な設定で一貫した性能を示す。
• モンテカルロシミュレーションにより、有効ランクが常に$p$より1桁以上小さいことが確認され、理論的仮定の妥当性が裏付けられる。
• 理論的枠組みは、マージナル非スパarsityを誘発するグローバル潜在要因が存在するが、条件付きスパarsityが成立する応用において、LVGGMをスパースGGMよりも好ましく使用できることを支持する。