[論文レビュー] Bayesian Inference in Sparse Gaussian Graphical Models

Peter Orchard, Felix Agakov+1 more|arXiv (Cornell University)|Sep 27, 2013

Gaussian Processes and Bayesian Inference参考文献 26被引用数 6

ひとこと要約

本稿では、スパースなガウス graphical モデルにおける効率的なベイズ推論手法を2つ提案する：最適化されたブロックギブスサンプラーと、GWishart分布向けの新規ハミルトニアン・モンテカルロ（HMC）サンプラー。HMC手法は、ブロックギブスに比べて著しく高速な混合速度と高い有効サンプルサイズを達成し、同じ計算予算下でも頻度的推定に基づくグラフィカルラッソを上回る予測精度を実現する完全ベイズ推定を可能にする。

ABSTRACT

One of the fundamental tasks of science is to find explainable relationships between observed phenomena. One approach to this task that has received attention in recent years is based on probabilistic graphical modelling with sparsity constraints on model structures. In this paper, we describe two new approaches to Bayesian inference of sparse structures of Gaussian graphical models (GGMs). One is based on a simple modification of the cutting-edge block Gibbs sampler for sparse GGMs, which results in significant computational gains in high dimensions. The other method is based on a specific construction of the Hamiltonian Monte Carlo sampler, which results in further significant improvements. We compare our fully Bayesian approaches with the popular regularisation-based graphical LASSO, and demonstrate significant advantages of the Bayesian treatment under the same computing costs. We apply the methods to a broad range of simulated data sets, and a real-life financial data set.

研究の動機と目的

• スパースなガウス graphical モデル（GGM）における、頻度的正則化に基づく手法（例：グラフィカルラッソ）を上回る予測精度を達成できる、より高速で効率的なベイズ推定手法の開発。
• 高次元設定におけるスケーラブルなベイズGGM推定を制限するGWishartサンプリングの計算ボトルネックの解消。
• MAP推定に基づく手法（例：グラフィカルラッソ）と比較して、事後分布の全情報を活用する完全ベイズ手法が、同等の時間制約下でも優れた予測性能を示すことを示すこと。
• 特化したMCMC技術を用いてサンプリング効率を向上させることで、複雑で高次元なベイズGGMの実用的利用を可能にすること。

提案手法

• 最大クリーク再計算に要する時間の削減を目的とした、被覆集合の選択を最適化した修正ブロックギブスサンプラーを提案。これにより、高次元GGM推定における効率が向上する。
• GWishart分布向けのハミルトニアン・モンテカルロ（HMC）サンプラーを開発。混合速度の向上とサンプル間の相関低減を実現するため、適切に選ばれた質量行列を活用。
• HMCで使用する対角質量行列は、さまざまなGWishart分布にうまく適応可能であり、ステップサイズの再調整を最小限に抑える。
• グラフ構造と精度行列の同時事後分布サンプリングフレームワークにHMCサンプラーを統合。これにより、モデル構造とパラメータの両方について完全ベイズ推定が可能になる。
• HMCおよびブロックギブスサンプラーを用いて、テスト対数尤度の事後期待値を計算。同じ時間予算下でグラフィカルラッソとの予測性能を比較。
• ネル（2010）が推奨するように、受容率を約65％に保つためのステップサイズ適応戦略を採用。これにより、事後分布の効率的探索が可能になる。

実験結果

リサーチクエスチョン

• RQ1 同じ計算予算下で、両者を比較した場合、スパースGGMにおけるベイズ推定が、グラフィカルラッソを上回る予測精度を達成できるか？
• RQ2 GWishartサンプリングの効率をどのように向上させれば、高次元設定下での完全ベイズGGM推定をスケーラブルに実現できるか？
• RQ3 ベイズGGMで事後分布の全情報を活用する手法は、特に高い変動性や複雑な依存構造下でも、グラフィカルラッソで用いられるMAP推定よりも優れた性能を示すか？
• RQ4 GWishart分布向けに効果的なHMCサンプラーを設計できるか。また、有効サンプルサイズおよび収束速度の観点で、ブロックギブスに比べて顕著に優れているか？
• RQ5 提案手法は、特に市場のボラティリティが高まる時期に、実世界の金融データにおいて構造的変化を的確に捉えることができるか？

主な発見

• HMCサンプラーは、ブロックギブスサンプラーに比べて、1秒あたりの有効サンプルサイズ（ESS）が著しく高く、事後分布の探索がより高速で効率的であることを示している。
• グラフィカルラッソが計算を完了した時点での、ベイズHMC手法のテスト対数尤度は $(-5.19 \pm 0.33) \times 10^4$ であり、グラフィカルラッソの $(-6.28 \pm 0.51) \times 10^4$ よりも顕著に優れていた。
• 対数尤度差のプロットにVIXインデックスを重ねた結果、特に市場のボラティリティが高い時期に、ベイズGGMがグラフィカルラッソを上回ることが明確に示された。
• グラフ更新時の最大クリーク再計算の時間を削減する被覆集合選択戦略の最適化により、ブロックギブスサンプラーはより実用的になった。
• MAP解ではなく、事後分布の全情報を活用するベイズモデルは、非定常的または高分散状態下でもよりロバストで正確な予測を可能にした。
• 対角質量行列の選択により、HMCサンプラーの性能はさまざまなGWishart分布に対して安定しており、ステップサイズパラメータの再調整が最小限で済んだ。