[논문 리뷰] Machine learning assisted Bayesian model comparison: learnt harmonic mean estimator

Jason D. McEwen, Christopher G. R. Wallis외 2명|arXiv (Cornell University)|2021. 11. 24.

Gaussian Processes and Bayesian Inference인용 수 15

한 줄 요약

이 논문은 베이지안 모델 비교에서 주변 가능도를 계산하기 위한 기계학습 증강 기법인 학습된 조화 평균 추정기(learnt harmonic mean estimator)를 소개한다. 조화 평균 추정기를 중요도 표본 추출으로 재해석하고, 분산을 최소화하는 최적의 대상 분포를 학습함으로써, 기존 최상위 기법 대비 3~6배 더 많은 표본을 1/3의 시간에 확보할 수 있는 안정적이고 확장 가능한 베이지안 증거 계산을 실현한다.

ABSTRACT

We resurrect the infamous harmonic mean estimator for computing the marginal likelihood (Bayesian evidence) and solve its problematic large variance. The marginal likelihood is a key component of Bayesian model selection to evaluate model posterior probabilities; however, its computation is challenging. The original harmonic mean estimator, first proposed by Newton and Raftery in 1994, involves computing the harmonic mean of the likelihood given samples from the posterior. It was immediately realised that the original estimator can fail catastrophically since its variance can become very large (possibly not finite). A number of variants of the harmonic mean estimator have been proposed to address this issue although none have proven fully satisfactory. We present the \\emph{learnt harmonic mean estimator}, a variant of the original estimator that solves its large variance problem. This is achieved by interpreting the harmonic mean estimator as importance sampling and introducing a new target distribution. The new target distribution is learned to approximate the optimal but inaccessible target, while minimising the variance of the resulting estimator. Since the estimator requires samples of the posterior only, it is agnostic to the sampling strategy used. We validate the estimator on a variety of numerical experiments, including a number of pathological examples where the original harmonic mean estimator fails catastrophically. We also consider a cosmological application, where our approach leads to $\\sim$ 3 to 6 times more samples than current state-of-the-art techniques in 1/3 of the time. In all cases our learnt harmonic mean estimator is shown to be highly accurate. The estimator is computationally scalable and can be applied to problems of dimension $O(10^3)$ and beyond. Code implementing the learnt harmonic mean estimator is made publicly available

연구 동기 및 목표

• 베이지안 모델 선택에서 원래 조화 평균 추정기의 높은 분산과 불안정성을 해결한다.
• 후행 분포 표본 추출 전략에 관계없이, 확장 가능하고 안정적인 베이지안 증거 계산 방법을 개발한다.
• 고차원 문제, 특히 기존 방법이 실패하는 병리적 경우에서도 정확하고 효율적인 모델 비교를 가능하게 한다.
• 과학 계산 및 시뮬레이션 기반 추론에 널리 사용 가능한 실용적인 오픈소스 소프트웨어 구현을 제공한다.

제안 방법

• 조화 평균 추정기를 새로운 학습 가능한 대상 분포를 가진 중요도 표본 추출 절차로 재해석한다.
• 기계학습 모델(특히 커널 밀도 추정기)을 사용해, 분산을 최소화하는 최적이지만 비가역적인 대상 분포를 근사한다.
• MCMC나 앙상블 샘플러로부터 생성된 후행 표본을 사용해 대상 분포를 학습함으로써, 어떤 표본 추출 방법과도 호환성을 확보한다.
• 모델 학습 중 미분 가능 최적화를 통해 유도된 주변 가능도 추정기의 분산을 최소화한다.
• 분산 추정 및 타당성 검증을 포함한 추정기 신뢰성에 대한 계산적 점검을 구현한다.
• emcee 등 MCMC 샘플러와 네이티브로 호환되는 오픈소스 harmonic 소프트웨어 패키지에 이 방법을 통합한다.

실험 결과

연구 질문

• RQ1 기계학습 접근법을 통해 최적의 중요도 표본 추출 대상 분포를 학습함으로써 조화 평균 추정기를 효과적으로 안정화시킬 수 있는가?
• RQ2 고차원 또는 병리적 후행 기하학에서 제안된 방법이 원래 조화 평균 추정기보다 유의미하게 낮은 분산을 달성하는가?
• RQ3 차원 수가 O(10^3) 또는 그 이상인 문제에 대해 학습된 조화 평균 추정기는 정확성을 유지하면서 얼마나 잘 확장되는가?
• RQ4 sampling 효율성과 증거 추정 정확도 측면에서, PolyChord와 같은 최상위 기법을 능가할 수 있는가?
• RQ5 우주론적 모델 비교와 같은 다양한 벤치마크 문제와 실제 응용에서 추정기는 안정적이고 신뢰할 수 있는가?

주요 결과

• 학습된 조화 평균 추정기는 원래 조화 평균 추정기가 붕괴적으로 실패하는 경우를 포함한 모든 벤치마크 문제에서 매우 정확한 주변 가능도 추정을 달성한다.
• 우주론적 모델 비교에서, 동일한 하드웨어를 사용할 때 PolyChord 대비 약 3~6배 더 많은 후행 표본을 1/3의 시간에 확보할 수 있다.
• 추정기는 계산적으로 확장 가능하며, 차원 수가 O(10^3) 이상인 문제에서도 안정적으로 작동한다.
• 후행 표본 추출 기법에 관계없이 간섭 없이 작동하므로, emcee와 같이 다중 체인을 자연스럽게 생성하는 MCMC 샘플러와의 통합이 수월하다.
• 추정기를 구현한 harmonic 소프트웨어 패키지는 96% 이상의 테스트 커버리지와 함께 최상의 소프트웨어 엔지니어링 관행을 따르며 프로덕션 환경에 적합하도록 설계되었다.
• 학습된 대상 분포가 정규화된 후행 분포에 가까이 근사함으로써, 원래 조화 평균 추정기 대비 추정기의 분산이 크게 감소한다.