[論文レビュー] Bayes Regularized Graphical Model Estimation in High Dimensions

Suprateek Kundu, Veera Baladandayuthapani+1 more|arXiv (Cornell University)|Aug 19, 2013

Statistical Methods and Inference参考文献 40被引用数 5

ひとこと要約

本稿は、モデル適合と共分散選択を分離することで、高次元データに対するスケーラブルなベイジアングラフィカルモデル推定手法を提案する。精度行列に連続的縮小事前分布を用い、共役ギブスサンプリングを可能にした後、後処理としてノードごとの連合ペナルティ付き信用区間を用いた近隣選択を実施することで、漸近的グラフ選択一貫性を達成し、シミュレーションおよび実際のがんゲノムデータにおいて、ベイジアン競合手法を上回る性能を示した。

ABSTRACT

There has been an intense development of Bayes graphical model estimation approaches over the past decade - however, most of the existing methods are restricted to moderate dimensions. We propose a novel approach suitable for high dimensional settings, by decoupling model fitting and covariance selection. First, a full model based on a complete graph is fit under novel class of continuous shrinkage priors on the precision matrix elements, which induces shrinkage under an equivalence with Cholesky-based regularization while enabling conjugate updates of entire precision matrices. Subsequently, we propose a post-fitting graphical model estimation step which proceeds using penalized joint credible regions to perform neighborhood selection sequentially for each node. The posterior computation proceeds using straightforward fully Gibbs sampling, and the approach is scalable to high dimensions. The proposed approach is shown to be asymptotically consistent in estimating the graph structure for fixed $p$ when the truth is a Gaussian graphical model. Simulations show that our approach compares favorably with Bayesian competitors both in terms of graphical model estimation and computational efficiency. We apply our methods to high dimensional gene expression and microRNA datasets in cancer genomics.

研究の動機と目的

• 逆遷移MCMCの計算的非実行性を解消する。これは、グラフ空間の指数的増大に起因する。
• 高次元設定におけるベイジアングラフィカルラッソの離散混合事前分布とヒューリスティックな後処理の限界を克服する。
• 精度行列推定とグラフ構造選択を分離することで、スケーラブルで一貫性のあるベイジアンアプローチを開発する。
• 固定$p$の高次元設定下で、ガウスグラフィカルモデルに対して漸近的選択一貫性を保証する。
• 既存のベイジアン手法と比較して、高次元データ応用における計算効率と推定精度を向上させる。

提案手法

• 精度行列要素に新しい種類の連続的縮小事前分布を用いて、完全グラフ上の全グラフィカルモデルを適合させる。
• コレスキー分解に基づく正則化との同等性を活用し、精度行列全体に対する共役ギブス更新を可能にする。
• 2段階のプロセスに分離する：第一に、縮小事前分布を用いた全モデル適合；第二に、後処理としての近隣選択。
• 各ノードに対して連合ペナルティ付き信用区間を用いた近隣選択を実施し、スパースなグラフ推定を可能にする。
• 後部サンプリングに直接的かつ完全なギブスサンプリングを用いることで、高次元へのスケーラビリティを確保する。
• コレスキー分解の条件付き回帰表現を活用し、後部サンプリングと近隣選択を結びつける。

実験結果

リサーチクエスチョン

• RQ1 従来のMCMCベース手法がグラフ空間の爆発により失敗する高次元設定でも、ベイジアングラフィカルモデルは一貫して推定可能だろうか？
• RQ2 精度行列推定とグラフ構造選択の分離は、計算スケーラビリティと推定精度を向上させるだろうか？
• RQ3 精度行列に連続的縮小事前分布を用いることで、共役更新を実現しつつ、選択の一貫性を保てるだろうか？
• RQ4 連合ペナルティ付き信用区間を用いた後処理による近隣選択は、グラフ構造回復に関して漸近的に一貫性を持つだろうか？
• RQ5 既存のベイジアン競合手法と比較して、本手法は高次元データにおけるグラフ推定精度と計算効率の両面で優れているだろうか？

主な発見

• 真のモデルがガウスグラフィカルモデルである場合、固定$p$の下で本手法はグラフ構造に関して漸近的選択一貫性を達成する。
• シミュレーションでは、本手法は既存のベイジアン競合手法を上回り、グラフ構造推定の精度と計算効率の両面で優れた性能を示した。
• 本手法は高次元にスケーラブルであり、がんゲノム分野の遺伝子発現およびマイクロRNAデータセットへの応用に成功した。
• 連続的縮小事前分布の使用により、共役ギブス更新が可能となり、複雑なMCMC移動や後処理のヒューリスティクスの必要がなくなった。
• 連合ペナルティ付き信用区間を用いた後処理による近隣選択は、$n \to \infty$の下で真のグラフ構造を高い確率で回復できた。
• 本手法は事前分布への感受性に対して頑健であり、非分解可能グラフにおける$G$-ウィシャートや逆遷移MCMCの計算負荷を回避した。