[論文レビュー] Bayesian Joint Spike-and-Slab Graphical Lasso

Zehang Li, Tyler H. McCormick+1 more|PubMed|May 18, 2018

Gaussian Processes and Bayesian Inference参考文献 31被引用数 5

ひとこと要約

本稿では、連続的スパイクアンドスラブ事前分布を用いてグループおよびフラッシュド・グラフィカル・ラッソ正則化項を統合したベイジアン同時スパイクアンドスラブグラフィカルラッソ（SSJGL）フレームワークを提案する。この手法により、複数のガウスグラフィカルモデルにおける同時的なスparserモデル選択とバイアス低減推定が可能となる。本手法は、動的後部モード探索のための高速EMアルゴリズムを用い、従来の正則化手法と比較して顕著に低いバイアスで優れたモデル選択と推定精度を達成する。

ABSTRACT

In this article, we propose a new class of priors for Bayesian inference with multiple Gaussian graphical models. We introduce Bayesian treatments of two popular procedures, the group graphical lasso and the fused graphical lasso, and extend them to a continuous spike-and-slab framework to allow self-adaptive shrinkage and model selection simultaneously. We develop an EM algorithm that performs fast and dynamic explorations of posterior modes. Our approach selects sparse models efficiently and automatically with substantially smaller bias than would be induced by alternative regularization procedures. The performance of the proposed methods are demonstrated through simulation and two real data examples.

研究の動機と目的

• 複数の関連するガウスグラフィカルモデルを同時に推定するベイジアンフレームワークを構築し、スパarsityの向上と推定バイアスの低減を図ること。
• グループおよびフラッシュド・グラフィカル・ラッソ正則化項を連続的スパイクアンドスラブ混合事前分布へ拡張し、自動的なモデル選択と正則化を実現すること。
• 固定された正則化パラメータの代わりにEMアルゴリズムによる後部推論を用いることで、データ駆動型で自己適応的なチューニングを可能とすること。
• 小標本サイズまたは欠損データを伴う高次元設定において、予測精度の向上を図ること。
• 確率的MCMC手法に依存せずに、後部モードを探索するスケーラブルで決定的アルゴリズムを提供すること。

提案手法

• 非対角要素をゼロ点質量（スパイク）と連続分布（スラブ）の混合でモデル化する二重スパイクアンドスラブ（DSS）混合事前分布を提案し、自動変数選択と正則化を可能にする。
• DSS事前分布を用いてグループ・グラフィカル・ラッソ（GGL）およびフラッシュド・グラフィカル・ラッソ（FGL）正則化項をベイジアン枠組みに拡張し、グループ間のスパースパターンおよび値の類似性を促進する。
• Eステップ（欠損値と後部期待値の推定）とMステップ（精度行列と選択インジケータの更新）を交互に繰り返すEMアルゴリズムを構築し、後部モードを効率的に探索する。
• 複数の高後部密度モデルを特定するための逐次的後部モード探索手順を実装し、局所最適解への依存性を低減する。
• EMアルゴリズムのEステップを用いて欠損データを補完し、推定された精度行列を予測タスクに活用する。
• 決定的アニーリングと複数のランダム初期値を組み合わせることで、複雑な後部表面の探索を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンスパイクアンドスラブフレームワークは、複数のガウスグラフィカルモデルにおける同時にモデル選択とパラメータ推定を改善できるか？
• RQ2 提案されたDSS-FGL/DSS-GGL手法は、古典的 joint graphical lasso と比較して、バイアスとスパースネスの精度でどの程度優れているか？
• RQ3 EMベースの後部モード探索手順は、正則化パラメータの手動チューニングにどの程度依存しなくなるか？
• RQ4 本手法は、小規模なグループ標本サイズを伴う高次元設定における欠損データを効果的に処理できるか？
• RQ5 実世界の応用（例：死亡率の補完）において、自己適応的スリミング機構は固定ペナルティ正則化を上回る性能を示せるか？

主な発見

• DSS-FGL手法は、単純な平均値補完法と比較して、欠損死亡率の補完において平均二乗誤差（MSE）を27.8%低減し、FGLと比較しても6.5%優れていた。
• 本手法は、特に小標本サイズ設定において、元の joint graphical lasso より顕著に低いバイアスで精度行列推定を達成した。
• EMアルゴリズムは、最小限のチューニングで高後部密度モデルを効果的に特定し、シミュレーションおよび実データセットにおいて、ロバスト性とスケーラビリティを示した。
• 連続的スパイクアンドスラブ事前分布のおかげで、関連するエッジおよびスパースネスパターンの自動同定が可能となり、モデル選択の精度が著しく向上した。
• 実世界の人口統計学的データおよびシミュレーション研究において、構造学習およびパラメータ推定の両面でベースライン手法を上回った。
• Gibbsサンプリングを用いることで、補遺資料に詳細記載されているように、後部不確実性を推定可能であり、完全なベイジアン推論を支援する。