[論文レビュー] Bayesian model comparison for simulation-based inference

A. Spurio Mancini, Matthew M. Docherty+2 more|arXiv (Cornell University)|Jul 8, 2022

Gaussian Processes and Bayesian Inference参考文献 44被引用数 6

ひとこと要約

本稿では、学習済み調和平均推定法（harmonic）を用いて、サンプリング手法に依存しない柔軟な手法を提案する。この手法は、後方分布のサンプルのみを必要とし、シミュレーションベース推論（SBI）におけるベイジアンモデル証拠の計算を可能にする。NPE、NLE、NREの主なSBIフレームワークすべてで信頼性のあるモデル比較が可能であり、NLEが尤度ベースのネストド・サブセットリング法と照合された結果、優れた精度を示した。

ABSTRACT

Comparison of appropriate models to describe observational data is a fundamental task of science. The Bayesian model evidence, or marginal likelihood, is a computationally challenging, yet crucial, quantity to estimate to perform Bayesian model comparison. We introduce a methodology to compute the Bayesian model evidence in simulation-based inference (SBI) scenarios (also often called likelihood-free inference). In particular, we leverage the recently proposed learnt harmonic mean estimator and exploit the fact that it is decoupled from the method used to generate posterior samples, i.e. it requires posterior samples only, which may be generated by any approach. This flexibility, which is lacking in many alternative methods for computing the model evidence, allows us to develop SBI model comparison techniques for the three main neural density estimation approaches, including neural posterior estimation (NPE), neural likelihood estimation (NLE), and neural ratio estimation (NRE). We demonstrate and validate our SBI evidence calculation techniques on a range of inference problems, including a gravitational wave example. Moreover, we further validate the accuracy of the learnt harmonic mean estimator, implemented in the HARMONIC software, in likelihood-based settings. These results highlight the potential of HARMONIC as a sampler-agnostic method to estimate the model evidence in both likelihood-based and simulation-based scenarios.

研究の動機と目的

• シミュレーションベース推論（SBI）の状況において、信頼性が高く汎用的なベイジアンモデル証拠の計算手法が不足しているという問題に対処すること。
• 尤度が計算不能または計算コストが高いため、SBIの文脈でベイジアンモデル比較を可能にすること。
• 学習済み調和平均推定法のサンプリング手法に依存しない性質を活用し、SBIにおける多様な後方分布サンプリング手法をサポートすること。
• harmonicソフトウェアの証拠推定値が、確立された尤度ベースのネストド・サブセットリング法と一致するかを検証すること。
• NPE、NLE、NREという3つの主なSBIアプローチにおける証拠推定の性能を比較すること。

提案手法

• 後方分布のサンプルのみからモデル証拠を推定する学習済み調和平均推定法（harmonic）を用い、サンプリング戦略とは独立させる。
• NPE、NLE、NREを含む、あらゆるSBI手法によって生成された後方分布サンプルにharmonic推定法を適用し、広範な適用可能性を実現する。
• 段階的な検証を実施：まず尤度ベースの設定でPolyChordとMultiNestを基準として用い、その後、合成および実世界の例を用いたSBI設定で検証を実施。
• ヴァイオリンプロットと対数ベイズ因子の比較を通じて、harmonic推定値とネストド・サブセットリングの結果との整合性を評価。
• 密度推定器のアンモタイズドおよび逐次的訓練方式をSBIパイプラインに適用し、異なる推論状況においても堅牢性を確保。
• 推定の正確さと分散を定量的に評価し、NLEに基づく証拠推定がNPEやNREよりもバイアスが小さいことを指摘。

実験結果

リサーチクエスチョン

• RQ1 尤度が計算不能なSBIの文脈において、学習済み調和平均推定法が信頼性を持ってモデル証拠を計算できるか？
• RQ2 同じ後方分布サンプルを用いた場合、NPE、NLE、NREという異なるSBIフレームワークにおける証拠推定の性能にどのような差が生じるか？
• RQ3 harmonicに基づく証拠推定値は、PolyChord や MultiNest といった確立されたネストド・サブセットリングアルゴリズムの結果とどの程度一致するか？
• RQ4 SBI手法の選択（アンモタイズド対逐次的）が、harmonicを用いた証拠推定の正確さに影響を与えるか？
• RQ5 harmonic推定法は、尤度ベースおよびSBIの両設定において、ネストド・サブセットリングの代替手段として実用的であるか？

主な発見

• harmonicに実装された学習済み調和平均推定法は、複数のテストケースにおいて、尤度ベースのネストド・サブセットリング法（MultiNestおよびPolyChord）の結果と良好に一致するモデル証拠推定値を生成した。
• NLEに基づく証拠推定は、NPE や NRE よりもより正確でバイアスの小さい対数ベイズ因子推定値を提供し、特に複雑な推論問題において顕著であった。
• NPE、NLE、NREのすべてのSBI証拠推定パイプラインが、一般に真のソースモデルを支持する対数ベイズ因子を生成し、尤度ベースとSBIベースの推定器の間で一貫性を示した。
• harmonic推定法は、後方分布サンプルのみを必要とし、それらを生成するためのサンプリング手法に依存しないため、頑健で柔軟であることが示された。
• 本手法は、重力波の推論問題を含む実世界の応用にも成功裏に拡張され、高次元で複雑な状況下でも実用的であることを示した。
• 本研究は、harmonicがSBIにおけるベイジアンモデル選択の汎用的ツールとしての可能性を示した。今後の研究では、分散推定とより大規模な問題へのスケーラビリティの向上を焦点に据える。