[論文レビュー] High dimensional Sparse Gaussian Graphical Mixture Model

Anani Lotsi, Ernst C. Wit|arXiv (Cornell University)|Aug 15, 2013

Bayesian Methods and Mixture Models参考文献 20被引用数 12

ひとこと要約

本稿は、EMアルゴリズムの枠組み内で精度行列に$l_1$ペナルティを適用することにより、高次元ガウスグラフィカル混合モデルの罰則付き最尤推定量を提案する。この手法は、クラスタメンバーシップとスパースグラフィカル構造の両方の一貫性のある推定を保証し、チューニングパラメータが$ \lambda_n \propto \sqrt{n\log p}$とスケーリングする場合に優れた性能を示す。シミュレーションおよび実際のゲノムデータにおいて、グラフ選択とパラメータの一貫性が向上していることが確認された。

ABSTRACT

This paper considers the problem of networks reconstruction from heterogeneous data using a Gaussian Graphical Mixture Model (GGMM). It is well known that parameter estimation in this context is challenging due to large numbers of variables coupled with the degeneracy of the likelihood. We propose as a solution a penalized maximum likelihood technique by imposing an $l_{1}$ penalty on the precision matrix. Our approach shrinks the parameters thereby resulting in better identifiability and variable selection. We use the Expectation Maximization (EM) algorithm which involves the graphical LASSO to estimate the mixing coefficients and the precision matrices. We show that under certain regularity conditions the Penalized Maximum Likelihood (PML) estimates are consistent. We demonstrate the performance of the PML estimator through simulations and we show the utility of our method for high dimensional data analysis in a genomic application.

研究の動機と目的

• 複数のガウス成分から成る高次元で不均一なデータから、元のグラフィカルネットワークを再構築する課題に対処すること。
• 高次元設定（$n \ll p$）において、各混合成分の精度行列に$l_1$正則化を導入することで、パラメータの同定可能性と変数選択を改善すること。
• 正則性条件の下で、罰則付き最尤推定量（PMLE）の理論的一貫性を確立すること。
• EMとグラフィカルラassoを組み合わせた効率的な計算アルゴリズムを開発し、スパース精度行列と混合割合を推定すること。
• シミュレーションデータおよび実世界のゲノムデータ（学生の試験成績やフローサイトメトリーによるシグナル伝達データを含む）を用いて、手法の性能を検証すること。

提案手法

• 各成分がスパース精度行列を持つ多変量正規分布に従う有限ガウス混合モデル（GMM）を定式化する。
• 各成分の精度行列に$l_1$ペナルティを適用し、高次元設定におけるスパarsityの誘導と同定可能性の向上を図る。
• Eステップで事後クラスタメンバーシップを計算し、Mステップでグラフィカルラassoを用いてスパース精度行列と混合割合を推定する罰則付きEMアルゴリズムを開発する。
• 一貫性のあるグラフおよびパラメータ推定を保証するため、チューニングパラメータ$\lambda_n$を$\sqrt{n\log p}$にスケーリングする。
• Mステップで$l_1$正則化下でのスパース精度行列の効率的計算を、グラフィカルラassoアルゴリズムを用いて行う。
• 成分数$K$は事前に既知であると仮定し、この条件下での推定と一貫性に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 $l_1$正則化を精度行列に適用することで、高次元ガウスグラフィカル混合モデルにおける同定可能性と変数選択が向上するか。
• RQ2 グラフィカルラassoを組み合わせたEMに基づく罰則付き最尤推定量（PMLE）は、高次元漸近的条件下で精度行列と混合割合の一致した推定を達成できるか。
• RQ3 チューニングパラメータ$\lambda_n$の選択が、得られるグラフィカルモデルの一貫性と性能にどのように影響するか。
• RQ4 提案手法は、シミュレーションおよび実際のゲノムデータを用いて、不均一なデータにおける真のネットワーク構造を効果的に回復できるか。
• RQ5 グラフ選択およびパラメータ推定の正確さという観点から、$\lambda_n \propto \sqrt{n\log p}$と$\lambda_n \propto \sqrt{\log p}$の相対的性能はどのように異なるか。

主な発見

• $\lambda_n \propto \sqrt{n\log p}$のPMLEは、正則性条件の下で、精度行列と混合割合の両方の推定において一貫性を達成する。
• シミュレーション結果から、$\lambda_n \propto \sqrt{n\log p}$は$\lambda_n \propto \sqrt{\log p}$に比べて、より優れたグラフ選択性能を示し、F1スコアが高く、偽陽性率が低いことが判明した。
• n=2000の場合、$\lambda_n \propto \sqrt{n\log p}$の下で、$\Theta_1$のF1スコアは0.5081、$\Theta_2$のF1スコアは0.4150であった。これは中程度から良好なグラフ回復を示している。
• オープンブック／クローズドブック試験データでは、61%の学生が1つのクラスタに、39%がもう1つのクラスタに割り当てられ、各グループ内で科目間の相互作用パターンが明確に異なっていた。
• 細胞シグナル伝達データでは、90%の細胞が1つの成分に割り当てられ、両成分で{(pakts473, PIP2)}および{(PKC, PIP2)}の重要な相互作用が同定されたが、{(pakts473, praf)}および{(PIP2, p44.42)}の相互作用には差が見られた。
• この手法は、意味のある生物学的ネットワーク構造を効果的に回復し、不均一なサブポピュレーションを有する高次元ゲノムデータ解析における有用性を示した。