[論文レビュー] Bayesian Estimation of Gaussian Graphical Models with Projection Predictive Selection

Donald R. Williams, Juho Piironen+2 more|arXiv (Cornell University)|Jan 17, 2018

Bayesian Modeling and Causal Inference被引用数 7

ひとこと要約

本稿では、条件付き独立構造を特定するために投影予測変数選択を用いた、スパースなガウス graphical モデルを推定する新しいベイズ的手法を提案する。予測密度の投影を活用することで、頻度主義的リスクにおいて優れた性能を発揮し、特に p ≈ n の高次元設定において、古典的および代替のベイズ推定器と比較して誤検出を著しく低減する。

ABSTRACT

Gaussian graphical models are used for determining conditional relationships between variables. This is accomplished by identifying off-diagonal elements in the inverse-covariance matrix that are non-zero. When the ratio of variables (p) to observations (n) approaches one, the maximum likelihood estimator of the covariance matrix becomes unstable and requires shrinkage estimation. Whereas several classical (frequentist) methods have been introduced to address this issue, Bayesian methods remain relatively uncommon in practice and methodological literatures. Here we introduce a Bayesian method for estimating sparse matrices, in which conditional relationships are determined with projection predictive selection. Through simulation and an applied example, we demonstrate that the proposed method often outperforms both classical and alternative Bayesian estimators with respect to frequentist risk and consistently made the fewest false positives.We end by discussing limitations and future directions, as well as contributions to the Bayesian literature on the topic of sparsity.

研究の動機と目的

• p ≈ n の場合に最大尤度推定が不安定になる問題に対処すること。
• 逆分散共分散行列へのスパース性を効果的に導入し、条件付き独立関係を特定できるベイズ的手法を開発すること。
• 既存の古典的およびベイズ的手法と比較して、推定の正確性を向上させるとともに誤検出を低減すること。
• スパース graphical モデルのベイズ文献に、新たな原理的根拠に基づく手法を貢献すること。

提案手法

• 精度行列に広義の事前分布を用いたベイズ推定により、スパース構造の学習を可能にする。
• 完全モデルを部分モデルに投影することで、最も関連性の高い条件付き独立関係を同定するための投影予測選択を適用する。
• 予測密度の発散に基づく逐次的選択プロセスを用い、予測性能を最もよく保持する変数を段階的に選択する。
• すべての変数を含むリファレンス・モデルを用意し、ネストされた部分モデルへの投影により最適なスパース構造を同定する。
• 完全モデルと低次元モデルの予測密度間のカルバック・ライブラー距離を用いて変数の重要度を測定する。
• 最小の予測損失を達成しつつスパース性を最大化する基準に基づき、最終的なモデルを選択する。

実験結果

リサーチクエスチョン

• RQ1 提案手法のベイズ的投影予測選択は、古典的および代替のベイズ推定器と比較して、頻度主義的リスクにおいてどのように異なるか？
• RQ2 高次元ガウス graphical モデルにおいて、この手法は誤検出されるエッジをどの程度低減できるか？
• RQ3 p ≈ n の条件下で、この手法は一貫して正しい条件付き独立構造を特定できるか？
• RQ4 異なるデータ生成メカニズムおよびスパースレベルの下で、この手法の性能はどのように変化するか？

主な発見

• 提案手法は、シミュレーションのあらゆる状況において、古典的および代替のベイズ推定器と比較して一貫して低い頻度主義的リスクを達成した。
• 特に高次元設定において、競合手法と比較して著しく少ない誤検出エッジを報告した。
• 中程度から高スパース性を示すさまざまなデータ生成メカニズムにおいても、本手法は頑健な性能を示した。
• 投影予測選択により、予測精度を保持したまま効果的なモデル簡略化が可能となり、より解釈可能で安定した graphical モデルが得られた。
• 変数数が観察数に近づく状況において、選択の正確性が競合手法を上回った。
• 頻度主義的シャーピング推定器に対する原理的根拠に基づくベイズ的代替手法を提供し、スパース構造学習における解釈可能性と信頼性を向上させた。