[論文レビュー] The ratio of normalizing constants for Bayesian graphical Gaussian model selection

Gérard Letac, Hélène Massam+1 more|arXiv (Cornell University)|Jun 14, 2017

Bayesian Modeling and Causal Inference参考文献 27被引用数 7

ひとこと要約

本稿では、ベイジアングラフィカルガウスモデルにおける正規化定数の比について、解析的近似を提案する。この近似は、G-ワイスマン分布の形状母数δと、エッジの端点間の長さ2の経路数dに基づくガンマ関数の閉形式表現を用いる。この方法はモンテカルロ計算を回避し、計算が高速で、高い正確性を維持する。近似比は常に0.55から1の間であり、スケーラブルな高次元モデル選択を可能にする。

ABSTRACT

Many graphical Gaussian selection methods in a Bayesian framework use the G-Wishart as the conjugate prior on the precision matrix. The Bayes factor to compare a model governed by a graph G and a model governed by the neighboring graph G-e, derived from G by deleting an edge e, is a function of the ratios of prior and posterior normalizing constants of the G-Wishart for G and G-e. While more recent methods avoid the computation of the posterior ratio, computing the ratio of prior normalizing constants, (2) below, has remained a computational stumbling block. In this paper, we propose an explicit analytic approximation to (2) which is equal to the ratio of two Gamma functions evaluated at (delta+d)/2 and (delta+d+1)/2 respectively, where delta is the shape parameter of the G-Wishart and d is the number of paths of length two between the endpoints of e. This approximation allows us to avoid Monte Carlo methods, is computationally inexpensive and is scalable to high-dimensional problems. We show that the ratio of the approximation to the true value is always between zero and one and so, one cannot incur wild errors. In the particular case where the paths between the endpoints of e are disjoint, we show that the approximation is very good. When the paths between these two endpoints are not disjoint we give a sufficient condition for the approximation to be good. Numerical results show that the ratio of the approximation to the true value of the prior ratio is always between .55 and 1 and very often close to 1. We compare the results obtained with a model search using our approximation and a search using the double Metropolis-Hastings algorithm to compute the prior ratio. The results are extremely close.

研究の動機と目的

• G-ワイスマン分布の正規化定数の比を計算する際の計算ボトルネックを解消すること。
• G-ワイスマン分布における事前分布の正規化定数比を推定するための、モンテカルロ手法の代替として高速かつスケーラブルな手法を開発すること。
• 近似が正確でかつ有界であることを保証し、ベイズファクターを用いたモデル比較における大きな誤差を回避すること。
• 正規化定数比を計算するための計算的軽量かつ信頼性の高い手法を提供することで、高次元モデル選択を可能にすること。

提案手法

• G-ワイスマン分布の事前分布の正規化定数比に対する解析的近似を提案し、(δ+d)/2および(δ+d+1)/2におけるガンマ関数の比として表現する。
• dを、グラフGから削除されるエッジeの端点間の長さ2の経路の数として定義する。
• G-ワイスマン分布の形状母数δが既知で固定されているものと仮定して近似を導出する。
• 近似値と真の値の比が常に0から1の間であることを示し、誤差が有界であることを保証する。
• 経路が互いに素でない場合でも近似が良好に保たれる十分条件を確立する。
• 数値的検証を行い、事前比を計算するためのダブルメトロポリス・ハスティングス法と比較する。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロ手法に依存せずに、G-ワイスマン分布における正規化定数比の解析的近似を導出可能か？
• RQ2 ガンマ関数に基づく提案された近似は、真の正規化定数比を推定する際にどの程度正確か？
• RQ3 特に経路が互いに素でない場合でも、近似は信頼性があり有界に保たれるか？
• RQ4 解析的近似を用いたモデル選択の性能は、ダブルメトロポリス・ハスティングス法を用いた場合と比較してどうか？
• RQ5 この近似は高次元グラフィカルガウスモデルに効果的にスケーリング可能か？

主な発見

• 提案された近似と真の値の比は、常に0.55から1の間であり、強力な有界性と信頼性を示している。
• エッジeの端点間の経路が互いに素である場合には、近似が特に正確で、比は1に近づくことが多い。
• 経路が互いに素でない場合でも、近似が良好に保たれる十分条件が提示されている。
• 数値結果から、近似の正確性が高く、近似値と真の値の比が常に0.55以上であることが示された。
• 解析的近似を用いたモデル選択の結果は、ダブルメトロポリス・ハスティングス法を用いた結果と極めて近いことが確認され、実用的有用性が検証された。
• この手法は計算的に効率的で、高次元問題へのスケーラビリティに優れており、高価なモンテカルロ統合を回避できる。