[論文レビュー] Precision Requirements for Monte Carlo Sums within Hierarchical Bayesian Inference

R. C. Essick, Will M. Farr|arXiv (Cornell University)|Apr 1, 2022

Statistical Methods and Bayesian Inference被引用数 7

ひとこと要約

本稿は、階層ベイズ推論におけるモンテカルロ和の精度要件を調査し、定数個の単一イベント事後分布サンプルと、イベントごとに線形にスケーリングされるインジェクション数が、正確な集団推論に十分であることを示している。近似的なモンテカルロ不確実性の周辺化はバイアスを生じるか、より多くのサンプルを必要とすることを示しており、実験的ターゲット分布推定において、効率性と正確性を兼ね備えるために点推定を推奨する。

ABSTRACT

Hierarchical Bayesian inference is often conducted with estimates of the target distribution derived from Monte Carlo sums over samples from separate analyses of parts of the hierarchy or from mock observations used to estimate sensitivity to a target population. We investigate requirements on the number of Monte Carlo samples needed to guarantee the estimator of the target distribution is precise enough that it does not affect the inference. We consider probabilistic models of how Monte Carlo samples are generated, showing that the finite number of samples introduces additional uncertainty as they act as an imperfect encoding of the components of the hierarchical likelihood. Additionally, we investigate the behavior of estimators marginalized over approximate measures of the uncertainty, comparing their performance to the Monte Carlo point estimate. We find that correlations between the estimators at nearby points in parameter space are crucial to the precision of the estimate. Approximate marginalization that neglects these correlations will either introduce a bias within the inference or be more expensive (require more Monte Carlo samples) than an inference constructed with point estimates. We therefore recommend that hierarchical inferences with empirically estimated target distributions use point estimates.

研究の動機と目的

• 有限サンプリングによるバイアスを生じさせないために、階層ベイズ推論を正確に行うために必要なモンテカルロサンプルの最小数を特定すること。
• 推定された選択関数と単一イベント証拠におけるモンテカルロ不確実性が、集団レベルの推論にどのように影響するかを評価すること。
• モンテカルロ不確実性の近似的な周辺化が推論の精度を向上させるか、バイアスを生じさせるかを評価すること。
• 階層推論における必要サンプル数がカタログサイズにどのようにスケーリングするかを特定すること。
• 実験的ターゲット分布推定において、近似的な周辺化よりも点推定を優先する最適なサンプリング戦略を提案すること。

提案手法

• 著者らは、モンテカルロサンプルの生成を確率的プロセスとしてモデル化し、有限サンプリングに起因する階層尤度推定器の不確実性を定量化する。
• ターゲット分布のモンテカルロ推定の分散を導出する：$\mathrm{Var}[\hat{X}(\Lambda)]_{\mathrm{MC}} = \frac{f(\Lambda)}{m}$、ここで$m$はサンプル数である。
• 近いパラメータ点における推定器間の相関の影響を分析し、これが精度にとって重要な要因であることを示す。
• 反復的サンプリング戦略を提案する：事後分布から抽出したペア間の$\Delta\ln\hat{p}$の分散を推定し、分散が高い箇所にのみサンプルを追加する。
• 特に高次元の選択関数に対して収束を加速するために、低分散列をインジェクションサンプリングに用いる可能性を検討する。
• 点推定と近似的な周辺化手法を比較し、後者がバイアスを生じるか、点推定よりもはるかに多くのサンプルを必要とすることが実証された。

実験結果

リサーチクエスチョン

• RQ1 階層尤度推定がバイアスを生じさせない程度に正確であるために、必要なモンテカルロサンプルの最小数は何か？
• RQ2 モンテカルロ和における有限サンプル数が、ターゲット分布の不確実性およびその後続の集団推論にどのように影響するか？
• RQ3 モンテカルロ不確実性の近似的な周辺化は、推論精度を向上させるのか、それともバイアスを生じさせるのか？
• RQ4 カタログサイズに伴い、必要な単一イベント事後分布サンプル数とインジェクション数はどのようにスケーリングするか？
• RQ5 低分散列を用いることで、特に高次元パラメータ空間において、必要なインジェクション数を削減できるか？

主な発見

• カタログサイズにかかわらず、イベントごとに定数個の単一イベント事後分布サンプルで十分に正確な階層推論が可能である。
• イベントごとに定数個のインジェクション数を用いる場合、必要なインジェクション数はカタログサイズに線形にスケーリングされ、2乗にスケーリングされない。
• 近いパラメータ点における推定器間の相関を無視する近似的な周辺化は、バイアスを生じるか、点推定よりもはるかに多くのサンプルを必要とする。
• ターゲット分布の点推定は、近似的な周辺化よりも効率的かつ正確であるため、直接の点推定を優先すべきである。
• モンテカルロ推定の分散は$\mathrm{Var}[\hat{X}(\Lambda)]_{\mathrm{MC}} = \frac{f(\Lambda)}{m}$とスケーリングされ、必要に応じて必要な箇所にのみサンプルを追加する反復的戦略に利用可能である。
• 分離可能なインジェクション分布に対して、低分散列を用いることで、インジェクション要件を$\mathcal{O}(N^{1/2})$にまで削減できる可能性があり、大規模カタログにおいて計算上の節約が見込める。