[논문 리뷰] Precision Requirements for Monte Carlo Sums within Hierarchical Bayesian Inference

R. C. Essick, Will M. Farr|arXiv (Cornell University)|2022. 04. 01.

Statistical Methods and Bayesian Inference인용 수 7

한 줄 요약

이 논문은 계층 베이지안 추론에서 몬테카를로 합의 정밀도 요구 조건을 조사하며, 일정한 수의 단일 이벤트 사후 표본과 선형적으로 증가하는 각 이벤트당 투입 수가 정확한 인구 추론을 위해 충분함을 보여준다. 이는 몬테카를로 불확실성에 대한 근사적 마진화가 편향을 유발하거나 더 많은 표본 수가 필요함을 시사하며, 따라서 경험적 목표 분포 추정에서 효율성과 정확도를 위해 점추정을 권장한다.

ABSTRACT

Hierarchical Bayesian inference is often conducted with estimates of the target distribution derived from Monte Carlo sums over samples from separate analyses of parts of the hierarchy or from mock observations used to estimate sensitivity to a target population. We investigate requirements on the number of Monte Carlo samples needed to guarantee the estimator of the target distribution is precise enough that it does not affect the inference. We consider probabilistic models of how Monte Carlo samples are generated, showing that the finite number of samples introduces additional uncertainty as they act as an imperfect encoding of the components of the hierarchical likelihood. Additionally, we investigate the behavior of estimators marginalized over approximate measures of the uncertainty, comparing their performance to the Monte Carlo point estimate. We find that correlations between the estimators at nearby points in parameter space are crucial to the precision of the estimate. Approximate marginalization that neglects these correlations will either introduce a bias within the inference or be more expensive (require more Monte Carlo samples) than an inference constructed with point estimates. We therefore recommend that hierarchical inferences with empirically estimated target distributions use point estimates.

연구 동기 및 목표

• 유한한 표본에 의한 편향을 유발하지 않도록 정확한 계층 베이지안 추론을 보장하기 위해 필요한 몬테카를로 표본의 최소 수를 결정하는 것.
• 추정된 선택 함수와 단일 이벤트 증거에서 발생하는 몬테카를로 불확실성이 인구 수준 추론에 어떻게 영향을 미치는지 평가하는 것.
• 몬테카를로 불확실성에 대한 근사적 마진화가 추론 정밀도를 향상시키는지, 또는 편향을 유발하는지 평가하는 것.
• 계층 추론에서 카탈로그 크기에 따라 필요한 표본 수의 스케일링 행동을 규명하는 것.
• 경험적 목표 분포 추정에서 점추정을 근사적 마진화보다 우선시하는 최적의 표본 전략을 제안하는 것.

제안 방법

• 저자들은 몬테카를로 표본의 생성을 확률적 과정으로 모델링하며, 유한한 표본에 기인한 계층적 우도 추정기의 불확실성을 정량화한다.
• 목표 분포의 몬테카를로 추정치에 대한 분산 표현식을 유도한다: $\mathrm{Var}[\hat{X}(\Lambda)]_{\mathrm{MC}} = \frac{f(\Lambda)}{m}$, 여기서 $m$은 표본 수이다.
• 근접한 매개변수 점에서 추정기 간 상관관계의 영향을 분석하며, 이들이 정밀도에 핵심적임을 보여준다.
• 반복적 표본 추출 전략을 제안한다: 사후 표본에서 유도된 쌍 간의 $\Delta\ln\hat{p}$ 분산을 추정하고, 분산이 높은 곳에만 추가 표본을 삽입한다.
• 특히 고차원 선택 함수에 대해 수렴 속도를 향상시키기 위해 투입 표본에 저이격성 수열을 사용하는 것을 탐색한다.
• 점추정과 근사적 마진화 기법을 비교하며, 후자가 편향을 유발하거나 점추정보다 더 많은 표본 수가 필요함을 입증한다.

실험 결과

연구 질문

• RQ1 계층적 우도 추정치가 추론에 영향을 주지 않도록 충분히 정밀한 데 필요한 몬테카를로 표본의 최소 수는 얼마인가?
• RQ2 몬테카를로 합에서 표본 수가 유한할 경우 목표 분포의 불확실성과 이후 인구 추론에 어떤 영향을 미치는가?
• RQ3 몬테카를로 불확실성에 대한 근사적 마진화가 추론 정밀도를 향상시키는가, 아니면 편향을 유발하는가?
• RQ4 카탈로그 크기에 따라 필요한 단일 이벤트 사후 표본 수와 투입 수는 어떻게 스케일링되는가?
• RQ5 저이격성 수열을 사용하면 고차원 매개변수 공간에서 정밀한 추론을 위해 필요한 투입 수를 줄일 수 있는가?

주요 결과

• 카탈로그 크기에 관계없이, 각 이벤트당 일정한 수의 단일 이벤트 사후 표본만으로도 정밀한 계층적 추론이 가능하다.
• 각 이벤트당 일정한 수의 투입 수를 사용할 경우, 필요한 투입 수는 카탈로그 크기와 선형적으로 증가하며, 이차적으로 증가하지는 않는다.
• 근접한 매개변수 점에서 추정기 간 상관관계를 忽시하는 근사적 마진화는 편향을 유발하거나 점추정보다 훨씬 더 많은 표본 수가 필요하다.
• 목표 분포의 점추정은 근사적 마진화보다 더 효율적이고 정확하므로, 직접적인 점추정을 선호해야 하며, 마진화는 피해야 한다.
• 몬테카를로 추정치의 분산은 $\mathrm{Var}[\hat{X}(\Lambda)]_{\mathrm{MC}} = \frac{f(\Lambda)}{m}$ 로 스케일링되며, 이는 필요한 곳에만 표본을 추가하는 데 사용할 수 있다.
• 분리 가능한 투입 분포에 대해 저이격성 수열을 사용하면 투입 수요를 $\mathcal{O}(N^{1/2})$ 수준으로 줄일 수 있으며, 이는 큰 카탈로그에 대한 계산적 절감을 제공한다.