[論文レビュー] Bayesian Estimation of Gaussian Graphical Models with Predictive Covariance Selection

Donald R. Williams, Juho Piironen+2 more|arXiv (Cornell University)|Jan 17, 2018

Bayesian Modeling and Causal Inference参考文献 36被引用数 8

ひとこと要約

本稿は、Kullback-Leibler 情報量と交差検証を用いて条件付き独立構造を特定するための投影予測選択を用いて、スパースなガウス graphical モデルを推定する新しいベイジアン手法を提案する。この手法は、ベイジアンモデル平均、最大事後確率推定、およびグラフィカルlasso や TIGER といった古典的手法と比較して、特に高次元設定下において、スパarsity、精度、効率性の面で優れた性能を示す。

ABSTRACT

Gaussian graphical models are used for determining conditional relationships between variables. This is accomplished by identifying off-diagonal elements in the inverse-covariance matrix that are non-zero. When the ratio of variables (p) to observations (n) approaches one, the maximum likelihood estimator of the covariance matrix becomes unstable and requires shrinkage estimation. Whereas several classical (frequentist) methods have been introduced to address this issue, fully Bayesian methods remain relatively uncommon in practice and methodological literatures. Here we introduce a Bayesian method for estimating sparse matrices, in which conditional relationships are determined with projection predictive selection. With this method, that uses Kullback-Leibler divergence and cross-validation for neighborhood selection, we reconstruct the inverse-covariance matrix in both low and high-dimensional settings. Through simulation and applied examples, we characterized performance compared to several Bayesian methods and the graphical lasso, in addition to TIGER that similarly estimates the inverse-covariance matrix with regression. Our results demonstrate that projection predictive selection not only has superior performance compared to selecting the most probable model and Bayesian model averaging, particularly for high-dimensional data, but also compared to the the Bayesian and classical glasso methods. Further, we show that estimating the inverse-covariance matrix with multiple regression is often more accurate, with respect to various loss functions, and efficient than direct estimation. In low-dimensional settings, we demonstrate that projection predictive selection also provides competitive performance. We have implemented the projection predictive method for covariance selection in the R package GGMprojpred

研究の動機と目的

• 変数の数（p）が観測数（n）に近いか、それ以上に達する場合に、逆分散共分散行列の最尤推定における不安定性を解消すること。
• 高次元設定下で既存の手法を改善する、完全なベイジアン手法による共分散選択の開発。
• 投影予測選択の性能を、ベイジアンモデル平均、最大事後確率推定、およびグラフィカルlasso や TIGER といった古典的手法と比較して評価すること。
• 回帰ベースの精度行列推定が、直接推定よりも正確かつ計算的に効率的であることを示すこと。

提案手法

• 予測性能を最もよく保持する変数を段階的に選択することで、非ゼロの偏相関を特定するための投影予測選択を用いる。
• 予測精度を評価し、近隣選択をガイドするために、Kullback-Leibler 情報量と交差検証を用いる。
• 各変数を他のすべての変数に対して回帰する複数の回帰モデルを用いて、逆分散共分散行列を推定し、回帰係数から条件付き依存関係を推定する。
• 予測性能に基づいて回帰係数をゼロに設定する意思決定ルールを適用し、情報損失を最小限に抑えつつスパarsity を達成する。
• 投影後の非正定値推定値を補正することで、有効な精度行列を保証する。
• 実用的かつ再現可能であるよう、R パッケージ GGMprojpred にこの手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 高次元ガウス graphical モデルにおいて、投影予測選択は、ベイジアンモデル平均および最大事後確率推定と比較して、予測精度とスパarsity の点でどのように異なるか？
• RQ2 回帰ベースの精度行列推定が、直接推定よりも、正確性と計算効率性の点で優れているかどうか。
• RQ3 Kullback-Leibler 情報量と二乗損失を含むさまざまな損失関数において、低次元および高次元設定下での投影予測選択の性能はどのように変化するか？
• RQ4 真のグラフがスパースな場合に、投影予測選択は、他の手法と比較して、誤検出エッジをどの程度低減できるか？
• RQ5 グラフィカルlasso や TIGER といった古典的手法と比較して、真の条件付き独立構造を回復する能力はどの程度か？

主な発見

• 投影予測選択は、Kullback-Leibler 情報量と log-score の観点で、特に高次元設定下で、ベイジアンモデル平均および最大事後確率推定を上回る優れた性能を示した。
• 他の手法と比較して、よりスパースで解釈性の高いグラフィカル構造を生成し、誤検出エッジが少ないが、情報量の多い特徴のみを選択するため感度は低かった。
• 回帰ベースの精度行列推定は、直接推定よりも正確で、計算的にも効率的であった。
• 低次元設定下でも、投影予測選択は競争力のある性能を示し、さまざまなデータ環境に対して頑健であることがわかった。
• 古典的手法の TIGER や glasso と比較して、精度行列の推定が一貫して正確であった。特に高次元条件下で顕著であった。
• 初期段階では正定値行列を保証しないが、補正後は直接推定および古典的回帰ベース手法よりも正確な推定値を得られた。