[論文レビュー] Bayesian evidence: can we beat MultiNest using traditional MCMC methods?

Rutger van Haasteren|ArXiv.org|Nov 11, 2009

Pulsars and Gravitational Waves Research参考文献 1被引用数 3

ひとこと要約

本稿では、再シミュレーションを実行せずに、標準的なMCMCチェインを用いてベイジアン証拠を計算する新規手法を提示する。相関のないサンプルのサブセットを活用することで、高い精度を達成する。高次元で鋭いピークを持つ問題において、MultiNestを上回り、相関のないチェインを用いる場合、理論的なポisson的誤差限界に達する。

ABSTRACT

Markov Chain Monte Carlo (MCMC) methods have revolutionised Bayesian data analysis over the years by making the direct computation of posterior probability densities feasible on modern workstations. However, the calculation of the prior predictive, the Bayesian evidence, has proved to be notoriously difficult with standard techniques. In this work a method is presented that lets one calculate the Bayesian evidence using nothing but the results from standard MCMC algorithms, like Metropolis-Hastings. This new method is compared to other methods like MultiNest, and greatly outperforms the latter in several cases. One of the toy problems considered in this work is the analysis of mock pulsar timing data, as encountered in pulsar timing array projects. This method is expected to be useful as well in other problems in astrophysics, cosmology and particle physics.

研究の動機と目的

• 既存のMCMCチェインのみを用いてベイジアン証拠を計算する手法を開発すること。再サンプリングの必要を回避する。
• 調和平均推定器や平行温度法といった伝統的手法の限界（不正確さや高い計算コスト）を克服すること。
• 標準的なMCMC手法が、ベイジアン証拠計算において、MultiNestのような高度なネストドサブスケーリングアルゴリズムを上回る可能性があるかどうかを検証すること。
• MCMCチェインの相関が、証拠推定の精度と収束に与える影響を評価すること。
• 計算されたベイジアン証拠に対して、信頼性の高いブートストラップベースの誤差推定を提供すること。

提案手法

• 本手法は、事後分布からのMCMCサンプルのサブセットを用い、特に事後密度に閾値を適用した領域内のサンプルに限定する。
• 式 $ I = \frac{1}{N} \sum_{i \in F_t} \frac{\pi(\vec{\Theta}_i) L(\vec{\Theta}_i)}{p(\vec{\Theta}_i)} $ を用いて、このサブセット上の重み付き平均としてベイジアン証拠を推定する。ここで $ F_t $ は閾値 $ t $ を超えるサンプルのサブセットを表す。
• 標準的なMCMC実行中に、パrameterサンプルとともに正規化された事後値を保存することで、本手法に依存する。
• 証拠積分の不確実性を推定するため、ブートストラップ再サンプリング手順を適用し、信頼性の高い誤差推定を保証する。
• 本手法は、トロイ問題およびパulsarタイミングデータモデルを用いてテストされ、MultiNestおよび平行温度法と性能を比較した。
• 相関のないチェインを用いる場合、本手法は理論的なポisson的誤差限界 $ \sigma = I / \sqrt{N} $ に達することが示された。これは最適な効率性を示している。

実験結果

リサーチクエスチョン

• RQ1 再サンプリングを伴わずに、標準的なMCMCチェインのみを用いて、ベイジアン証拠を正確に計算できるか？
• RQ2 高次元で鋭いピークを持つ事後分布において、本MCMCベースの証拠推定器はMultiNestに比べてどの程度優れているか？
• RQ3 MCMCチェインの相関が、ベイジアン証拠推定の精度にどの程度悪影響を及えるか？
• RQ4 相関のないサンプルを用いる場合、本手法は確率的統合手法の理論的誤差限界に達するか？
• RQ5 閾値 $ c $ とサンプルサイズ $ N $ の選択が、証拠推定の精度と安定性にどのように影響するか？

主な発見

• 提案手法は、高次元で鋭い事後分布を持つ問題において、MultiNestを精度と効率の両面で著しく上回る。
• 相関のないMCMCサンプルを用いる場合、理論的なポisson的誤差限界 $ \sigma = I / \sqrt{N} $ に達し、最適な性能を示す。
• 相関のあるMCMCチェインは、証拠推定の精度を低下させ、長時間のチェインが必要となり、不確実性が増加する。大きな $ N $ であっても同様である。
• サンプル数 $ N $ と閾値 $ c $ を増加させることで精度が向上するが、$ c $ が高くなるとブートストラップ誤差も増加し、安定性が低下することが示された。
• 本手法は、事前に実行されたMCMCチェインにも適用可能であり、再シミュレーションなしに証拠計算が可能である。
• 本アルゴリズムは、複雑で高次元なモデルを含むモデル選択タスクにおいて、天文学、宇宙論、素粒子物理学分野で極めて有用であると期待される。