[論文レビュー] Comment on "Bayesian evidence: can we beat MultiNest using traditional MCMC methods", by Rutger van Haasteren (arXiv:0911.2150)

F. Feroz, M. P. Hobson+1 more|arXiv (Cornell University)|Jan 5, 2010

Gaussian Processes and Bayesian Inference参考文献 30被引用数 3

ひとこと要約

本論文は、ルター・ヴァン・ハーステンが、ボロノイタイル化に基づく手法がベイズ的証拠評価においてMultiNestを上回ると主張する主張を批判している。著者らは、ヴァン・ハーステンの手法が事前に得られた後方分布サンプルに依存しているのに対し、MultiNestはそれらの仮定なしに後方分布の探索と証拠計算を一貫して行うエンドツーエンドのベイズ的推論を実行するため、根本的に不平等な比較であると主張している。このため、MultiNestは複雑で多次元な問題に対してより頑健で汎用性に富んでいる。

ABSTRACT

In arXiv:0911.2150, Rutger van Haasteren seeks to criticize the nested sampling algorithm for Bayesian data analysis in general and its MultiNest implementation in particular. He introduces a new method for evidence evaluation based on the idea of Voronoi tessellation and requiring samples from the posterior distribution obtained through MCMC based methods. He compares its accuracy and efficiency with MultiNest, concluding that it outperforms MultiNest in several cases. This comparison is completely unfair since the proposed method can not perform the complete Bayesian data analysis including posterior exploration and evidence evaluation on its own while MultiNest allows one to perform Bayesian data analysis end to end. Furthermore, their criticism of nested sampling (and in turn MultiNest) is based on a few conceptual misunderstandings of the algorithm. Here we seek to set the record straight.

研究の動機と目的

• ヴァン・ハーステンが、彼のボロノイタイル化手法がベイズ的証拠評価においてMultiNestを上回ると主張する主張の妥当性を挑戦すること。
• ネストドサブスティューションおよびMultiNestに対するヴァン・ハーステンの批判における概念的誤解を明確にすること。
• MultiNestが、外部の後方分布サンプルを必要としない完全で自己完結したソリューションを提供するのに対し、他の手法はそうではないことを強調すること。
• 他の手法が失敗する高次元・多次元問題においても、MultiNestが正確に証拠を計算できることを示すこと。
• 宇宙論および天体物理学における複雑な推論タスクにおいて、ネストドサブスティューションおよびMultiNestの優位性を再確認すること。

提案手法

• 著者らは、ヴァン・ハーステンの手法を分析し、後方分布サンプルにボロノイタイル化を適用してベイズ的証拠を推定するものである。
• この手法が自己完結的ではなく、MCMCによる事前の後方分布サンプリングに依存していることを強調している。MultiNestはこの処理を内部で実行する。
• 批判の中心は、後処理ツール（ヴァン・ハーステンの手法）と、完全な推論パイプライン（MultiNest）を比較しているという概念的誤りにある。
• 著者らは、一様事前分布を用いた高次元の楕円体ガウス型尤度関数を用いて、次元2から32の範囲でMultiNestの証拠精度をテストした。
• ライブポイントと適応的効率設定を用いて、MultiNestで対数証拠と情報量（H）を計算した。
• 解析的対数証拠はすべての次元で0.0であり、正確性のベンチマークとして機能する。

実験結果

リサーチクエスチョン

• RQ1 MCMCによる後方分布サンプルに基づく手法が、ベイズ的証拠評価においてMultiNestを上回れるか？
• RQ2 ヴァン・ハーステンのボロノイベース手法とMultiNestの比較は、公平で妥当なものか？
• RQ3 MultiNestは高次元・多次元・退化したパrameter空間においても、ベイズ的証拠を正確に計算できるか？
• RQ4 外部の後方分布サンプルに依存する後処理手法の限界は、エンドツーエンド推論ツールと比べてどうか？
• RQ5 次元の増加に伴い、MultiNestの証拠評価における性能はどのように低下するか？

主な発見

• 次元2から32の範囲で、MultiNestはlog(Z) ≈ 0.0を正確に計算し、誤差範囲内で解析的値と一致した。
• 32次元問題では、MultiNestは1410万回の尤度評価を要し、log(Z) = 0.40 ± 0.31を達成した。これは高次元でも十分な正確性を示している。
• 32次元で情報量Hは96.10にまで上昇し、複雑性の指数的増加を確認したが、MultiNestは依然として効果的であった。
• 後方分布が事前分布体積のe^−96.10にしか占めない高次元・低尤度領域においても、MultiNestは正確性を保った。
• 著者らは、ハミルトニアンサンプリングを用いることで、MultiNestが約1000次元まで正確に証拠を計算できることを確認した。これは強力なスケーラビリティを示している。
• ヴァン・ハーステン（2009）の比較は無効である。なぜなら、後方分布サンプルを必要とするツールと、それらを内部で生成する手法を比較しているため、評価自体が本質的に不平等なのである。