[論文レビュー] A remarkably simple and accurate method for computing the Bayes Factor from a Markov chain Monte Carlo Simulation of the Posterior Distribution in high dimension

Martin D. Weinberg, Ilsang Yoon+1 more|arXiv (Cornell University)|Jan 14, 2013

Statistical Methods and Bayesian Inference参考文献 7被引用数 10

ひとこと要約

この論文は、MCMCサンプルを活用して、高次元モデルにおけるベイズファクターを単純かつ正確に計算する手法を提示する。それは事後密度が最も高い部分集合Ωₛをモードの周囲で特定し、それを一様に再サンプリングし、ナイーブなモンテカルロ統合を用いて周辺尤度を推定する。このアプローチは16次元問題において5%の誤差率を達成し、従来の手法が失敗した分野でも正確なモデル選択を可能にする。

ABSTRACT

Weinberg (2012) described a constructive algorithm for computing the marginal likelihood, Z, from a Markov chain simulation of the posterior distribution. Its key point is: the choice of an integration subdomain that eliminates subvolumes with poor sampling owing to low tail-values of posterior probability. Conversely, this same idea may be used to choose the subdomain that optimizes the accuracy of Z. Here, we explore using the simulated distribution to define a small region of high posterior probability, followed by a numerical integration of the sample in the selected region using the volume tessellation algorithm described in Weinberg (2012). Even more promising is the resampling of this small region followed by a naive Monte Carlo integration. The new enhanced algorithm is computationally trivial and leads to a dramatic improvement in accuracy. For example, this application of the new algorithm to a four-component mixture with random locations in 16 dimensions yields accurate evaluation of Z with 5% errors. This enables Bayes-factor model selection for real-world problems that have been infeasible with previous methods.

研究の動機と目的

• 高次元ベイズモデル選択における周辺尤度推定の計算不能性に対処すること。
• 新たなMCMCランを必要とせず、複雑なテッセレーションアルゴリズムを用いずに、ベイズファクター計算の精度を向上させること。
• 既存のMCMCサンプルのみを用いて、複雑な高次元モデル—特に天文学分野のモデル—の信頼性のあるモデル比較を可能にすること。
• 計算コストが低く、さまざまな次元数やモデル構造に対して頑健な手法を開発すること。

提案手法

• 従来のMCMCサンプルから、事後分布の主要モードの周囲に位置する高事後密度部分集合Ωₛを選択する。
• 尤度の数値統合を安定的かつ分散が小さいものにするために、Ωₛ内を一様に再サンプリングする。
• 周辺尤度積分の左辺（Ωₛ内に含まれるサンプルの割合）は、元のMCMCチェインからのカウントによって推定する。
• 右辺（Ωₛ上での尤度の積分）は、再サンプリングされた点を用いたナイーブなモンテカルロ統合によって計算する。
• 従来の研究で用いられた複雑な体積テッセレーションアルゴリズムを回避することで、計算オーバーヘッドを顕著に削減する。
• 事後確率がコア領域ではゆっくりと変化することを活用し、一様再サンプリングが効果的で正確であることを活かす。

実験結果

リサーチクエスチョン

• RQ1 MCMCサンプルの部分集合を用いて、高次元モデルにおける周辺尤度を高い精度で推定できるか？
• RQ2 選択された部分集合を再サンプリングすることで、周辺尤度推定の数値的安定性が向上し、分散が低減するか？
• RQ3 次元数が増加するに従って、この新規手法の性能は従来のアルゴリズムと比べてどうなるか？
• RQ4 追加のMCMCサンプリングや複雑な幾何的分割を必要とせずに、高い精度を達成できるか？

主な発見

• 4成分混合モデルを16次元で評価した結果、周辺尤度推定の誤差が5%に抑えられ、従来手法に比べ顕著な改善が得られた。
• 高事後密度部分集合の再サンプリングにより、正確な値の25%以内の結果が得られ、大多数の推定値ははるかに近い値に収束した。
• コア領域における事後分布の変化がゆっくりであるため、再サンプリングされた部分集合上でナイーブなモンテカルロ統合を適用しても、より複雑な立方体積分法と同等の性能を発揮した。
• 特に高次元において、元の体積テッセレーションアルゴリズムを上回る性能を発揮し、複雑なテッセレーションの必要性を排除した。
• シミュレーションにより、ランダムに分布するモードを有する複雑なマルチモーダル事後分布に対しても、本手法は頑健であることが示された。
• 従来の手法では計算が困難であった、現実世界の高次元問題に対しても、正確なベイズファクター計算を可能にした。