[논문 리뷰] Adaptive MCMC for synthetic likelihoods and correlated synthetic likelihoods

Umberto Picchini, Umberto Simola외 1명|arXiv (Cornell University)|2020. 04. 09.

Gaussian Processes and Bayesian Inference참고 문헌 53인용 수 5

한 줄 요약

이 논문은 합성 우도(SL)에 대한 두 가지 적응형 MCMC 전략을 제안하여 계산 비용을 줄이고, 특히 저우도수 확률 영역에서의 혼합 성능을 햖थ한다. 제안된 방법은 제안 분포를 순차적으로 조정하고 상관된 입자 필터링 기법을 활용하여 MCMC 효율성을 향상시켜, 천체물리학적 및 비정규 확률적 시스템과 같은 도전적인 모델에서도 성공적인 추론을 가능하게 한다.

ABSTRACT

Synthetic likelihood (SL) is a strategy for parameter inference when the likelihood function is analytically or computationally intractable. In SL, the likelihood function of the data is replaced by a multivariate Gaussian density for summary statistics compressing the observed data. SL requires simulation of many replicate datasets at every parameter value considered by a sampling algorithm, such as MCMC, making the method computationally-intensive. We propose two strategies to alleviate the computational burden imposed by SL algorithms. We first introduce a novel MCMC algorithm for SL where the proposal distribution is sequentially tuned. Second, we exploit strategies borrowed from the correlated particle filters literature, to improve the MCMC mixing in a SL framework. Our methods enable inference for challenging case studies when the MCMC is initialised in low posterior probability regions of the parameter space, where standard samplers failed. Our goal is to provide ways to make the best out of each expensive MCMC iteration with SL algorithms, which will broaden the scope of these methods for models with costly simulators. To illustrate the advantages stemming from our framework we consider three benchmark examples, including estimation of parameters for a cosmological model and a stochastic model with highly non-Gaussian summary statistics.

연구 동기 및 목표

• 각 MCMC 반복에서 반복적인 시뮬레이션을 필요로 하는 합성 우도(SL) 방법의 계산 부담을 줄이기 위해.
• 표준 SL 샘플러가 실패하는 저우도수 확률 영역에서 초기화된 경우 MCMC 혼합 성능을 향상시키기 위해.
• 비용이 많이 드는 시뮬레이터를 갖는 모델을 위한 SL 프레임워크에서 각 고비용 MCMC 반복의 효율성을 향상시키기 위해.
• 매우 비정규적인 요약 통계량과 고차원 매개변수 공간을 갖는 복잡한 모델로의 SL 적용 범위를 넓히기 위해.

제안 방법

• 샘플링 중에 제안 분포를 조정하는 순차적 적응형 MCMC 알고리즘을 도입하여 수렴성과 혼합 성능을 향상시킨다.
• 입자 필터링 기법에서 유래한 상관된 샘플링을 MCMC 프레임워크에 적용하여 분산을 감소시키고 탐색 성능을 향상시킨다.
• 합성 우도에서 존재하지 않는 우도 함수를 대체하기 위해 요약 통계량에 대해 다변량 정규분포 근사를 사용한다.
• 과거 샘플을 기반으로 제안 공분산 행렬을 반복적으로 재스케일링하고 적응시키는 방식으로 시간이 지남에 따라 제안 품질을 향상시킨다.
• 적응 조정과 상관된 샘플링을 결합하여 도전적인 사후 기하학적 구조에서도 높은 유효 샘플 수를 유지한다.
• 비용이 많이 드는 시뮬레이터를 갖는 모델에 이 프레임워크를 적용하여 각 MCMC 반복이 사후 분포 탐색에 의미 있게 기여하도록 보장한다.

실험 결과

연구 질문

• RQ1 저우도수 확률 영역에서 초기화된 경우, 적응형 MCMC 전략이 합성 우도에서 혼합 성능과 수렴성을 향상시킬 수 있는가?
• RQ2 입자 필터링 기반의 상관 샘플링 기법을 어떻게 SL-MCMC에 통합하여 효율성을 높일 수 있는가?
• RQ3 적응형 제안 조정을 통해 SL에서 각 MCMC 반복에 필요한 시뮬레이션 횟수를 얼마나 줄일 수 있는가?
• RQ4 제안된 방법은 매우 비정규적인 요약 통계량을 갖는 모델에서 매개변수 추론을 성공적으로 수행할 수 있는가?
• RQ5 천체물리학적 모델과 같이 비용이 많이 드는 시뮬레이터를 갖는 모델들에서 이 방법의 성능은 어떻게 스케일링되는가?

주요 결과

• 적응형 MCMC 접근법은 특히 표준 샘플러가 실패하는 저우도수 확률 영역에서 초기화된 경우 합성 우도에서 혼합 성능과 수렴성을 크게 향상시킨다.
• 상관 샘플링 기법의 통합은 MCMC 체인의 유효 샘플 수를 증가시키고 분산을 감소시킨다.
• 비용이 많이 드는 시뮬레이터와 복잡한 고차원 요약 통계량을 갖는 천체물리학적 모델에 대해 성공적인 추론을 가능하게 한다.
• 매우 비정규적인 요약 통계량을 갖는 확률적 모델에서 표준 SL 방법이 어려움을 겪는 상황에서도 신뢰할 수 있는 매개변수 추정을 달성한다.
• 적응 조정 덕분에 각 MCMC 반복이 더 정보를 많이 담게 되어 총 필요한 시뮬레이션 횟수를 줄일 수 있다.
• 프레임워크는 벤치마크 예제 전반에서 강인한 성능을 보이며, 합성 우도의 적용 대상 모델 범위를 넓히는 데 기여한다.