[論文レビュー] An empirical $G$-Wishart prior for sparse high-dimensional Gaussian graphical models

Chang Liu, Ryan Martin|arXiv (Cornell University)|Dec 9, 2019

Statistical Methods and Inference参考文献 39被引用数 9

ひとこと要約

本稿では、正規化定数のラプラス近似を高精度に実現できるように、データに依存するモードを持つ、スパースな高次元ガウスグラフィカルモデルにおける経験的 $G$-ワイスマン事前分布を提案する。この手法により、高速でスケーラブルな事後分布計算が可能となり、従来の手法に比べて計算効率と精度が著しく向上する。

ABSTRACT

In Gaussian graphical models, the zero entries in the precision matrix determine the dependence structure, so estimating that sparse precision matrix and, thereby, learning this underlying structure, is an important and challenging problem. We propose an empirical version of the $G$-Wishart prior for sparse precision matrices, where the prior mode is informed by the data in a suitable way. Paired with a prior on the graph structure, a marginal posterior distribution for the same is obtained that takes the form of a ratio of two $G$-Wishart normalizing constants. We show that this ratio can be easily and accurately computed using a Laplace approximation, which leads to fast and efficient posterior sampling even in high-dimensions. Numerical results demonstrate the proposed method's superior performance, in terms of speed and accuracy, across a variety of settings, and theoretical support is provided in the form of a posterior concentration rate theorem.

研究の動機と目的

• G-ワイスマン事前分布における不変正規化定数の計算ボトルネックを解消する。
• グラフィカルコーン上での最尤推定値を中心に据えたデータに依存する事前分布を構築し、近似精度を向上させる。
• 小さな事前精度パラメータに対してもラプラス近似が信頼できるようにすることで、高次元における効率的な事後分布サンプリングを可能にする。
• 提案された経験的事前分布フレームワークにおける事後濃縮率の理論的支援を確立する。
• スパースな精度行列推定において、速度、正確性、スケーラビリティの面で従来のベイジアン手法を改善する。

提案手法

• 各グラフ $G$ ごとに、その $G$-固有の錐 $\mathcal{P}_G$ 内での精度行列の最尤推定値に等しいモードを持つ、グラフ $G$ の混合としての経験的 $G$-ワイスマン事前分布を提案する。
• 固有値の境界を保証し、近似誤差を制御するために、精度行列空間へのシーブ制限を導入する。
• グラフ構造の周辺事後分布に現れる $G$-ワイスマン正規化定数の比を計算するために、ラプラス近似を用いる。
• モード周りでの対数尤度の2次テイラー展開を導出し、スペクトルノルムと行列摂動論を用いて剰余項を境界付ける。
• ウッドベリーの公式と作用素ノルムの部分乗法性を用いて、正規化定数のラプラス近似における誤差を制御する。
• スペクトル分解と固有値の境界を用いて、$\widehat{\Omega}^{-1}\Omega$ のトレースを境界付けることで、事後濃縮率の定理を確立する。

実験結果

リサーチクエスチョン

• RQ1 正規化定数が正確なラプラス近似に適しているような、データに依存する $G$-ワイスマン事前分布を構築できるか？
• RQ2 経験的事前分布は、高次元スパースガウスグラフィカルモデルにおける、より高速かつ正確な事後分布サンプリングを実現するか？
• RQ3 スパarsity仮定の下で、提案された経験的 $G$-ワイスマン事前分布の事後濃縮率は何か？
• RQ4 頻度的グラフィカルラッソや他のベイジアン手法と比較して、提案手法の計算速度と推定精度はどのように異なるか？
• RQ5 データに依存するモードを持つ経験的事前分布について、事後濃縮に関する理論的保証を確立できるか？

主な発見

• 提案された経験的 $G$-ワイスマン事前分布により、$G$-ワイスマン正規化定数の比のラプラス近似を用いた高速かつ正確な事後分布計算が可能になる。
• 最適な事後濃縮率が達成され、スパarsity下でグラフィカルラッソの収束速度と一致する。
• 数値結果から、さまざまな高次元設定において、速度と正確性の両面で優れた性能を示す。
• ラプラス近似の剰余項は $O(\|\Delta\|_2^3)$ および $O(\|\Delta\|_2^4)$ で境界付けられ、近似の高精度を保証する。
• $\widehat{\Omega}^{-1}\Omega$ のトレースは、$\xi^{-1}\mathrm{tr}(\Omega)$ と $\xi\mathrm{tr}(\Omega)$ の間で境界付けられ、$\xi$ はモード推定値の固有値の広がりを制御する。
• 理論的分析により、データに依存する中心化のおかげで、より散らばりの小さい事前分布であっても、事後分布にバイアスが生じないことが確認された。