[논문 리뷰] Robust Bayesian Synthetic Likelihood via a Semi-Parametric Approach

Ziwen An, David J. Nott외 1명|arXiv (Cornell University)|2018. 09. 16.

Markov Chains and Monte Carlo Methods참고 문헌 34인용 수 7

한 줄 요약

이 논문은 표준 BSL에서 정규성 가정을 커널 밀도 추정과 가우시안 커플라를 사용한 비모수적 방법으로 대체하는 semiBSL를 제안한다. 이는 시뮬레이션 비용 증가 없이 조정이 필요 없이 비정규 요약 통계량에 대한 강건성을 크게 향상시킨다. 이 방법은 계산 효율성을 유지하면서도 비정규성 있는 우도를 가진 어려운 예제에서 BSL 및 EES보다 더 정확한 사후 근사치를 제공한다.

ABSTRACT

Bayesian synthetic likelihood (BSL) is now a well established method for performing approximate Bayesian parameter estimation for simulation-based models that do not possess a tractable likelihood function. BSL approximates an intractable likelihood function of a carefully chosen summary statistic at a parameter value with a multivariate normal distribution. The mean and covariance matrix of this normal distribution are estimated from independent simulations of the model. Due to the parametric assumption implicit in BSL, it can be preferred to its non-parametric competitor, approximate Bayesian computation, in certain applications where a high-dimensional summary statistic is of interest. However, despite several successful applications of BSL, its widespread use in scientific fields may be hindered by the strong normality assumption. In this paper, we develop a semi-parametric approach to relax this assumption to an extent and maintain the computational advantages of BSL without any additional tuning. We test our new method, semiBSL, on several challenging examples involving simulated and real data and demonstrate that semiBSL can be significantly more robust than BSL and another approach in the literature.

연구 동기 및 목표

• 베이지안 합성 우도(BSL)에서 강한 정규성 가정이 실용적 강건성에 제한을 둔다는 문제를 해결하기 위해.
• BSL의 효율성과 낮은 조정 프ofile를 유지하면서도 비정규 요약 통계량에 대한 강건성을 향상시키는 방법을 개발하기 위해.
• 추가 조정 파rameter나 증가된 시뮬레이션 부담 없이 실용적이고 확장 가능한 BSL의 대안을 제공하기 위해.
• 표준 BSL의 강건성을 실증적으로 평가하고, EES 및 ABC와 같은 기존의 강건화된 접근법과 semiBSL를 비교하기 위해.
• 요약 통계량 간 강한 비선형 상관관계가 존재하는 경우 semiBSL의 한계를 탐색하기 위해.

제안 방법

• 관측된 통계량 값에서 요약 통계량의 균근 분포를 커널 밀도 추정(KDE)을 사용해 모델링하여 전체 밀도 추정을 피한다.
• 이러한 균근 KDE를 가우시안 커플라를 사용해 조합하여 요약 통계량 간의 의존성 구조를 모델링한다.
• 결과적으로 도출된 비모수적 우도는 MCMC 샘플링을 통한 사후 추론을 위한 베이지안 프레임워크에서 사용된다.
• 이 방법은 표준 BSL과 동일한 수의 모델 시뮬레이션을 사용하며, 추가 조정이 필요 없다.
• 특히 고차원 설정에서 계산 효율성을 향상시키기 위해 상관행렬에 대한 수축 추정량을 탐색한다.
• 기본적으로 제약이 없는 상관행렬을 사용하지만, 구조화된 상관행렬 추정으로의 확장을 고려한다.

실험 결과

연구 질문

• RQ1 비정규 요약 통계량 분포 하에서 표준 BSL의 강건성과 semiBSL의 강건성은 어떻게 비교되는가?
• RQ2 KDE와 가우시안 커플라를 조합한 비모수적 접근법이 BSL의 계산 효율성을 유지하면서도 강건성을 향상시킬 수 있는가?
• RQ3 semiBSL는 BSL 또는 EES보다 더 많은 시뮬레이션 또는 추가 조정이 필요한가?
• RQ4 요약 통계량 간 강한 비선형 의존성이 존재하는 상황에서 semiBSL의 성능은 어떠한가?
• RQ5 제안된 방법은 기존의 MCMC 또는 변분 베이즈 프레임워크에 효과적으로 통합되어 확장 가능한 추론을 가능하게 하는가?

주요 결과

• 비정규 요약 통계량을 가진 예제에서 semiBSL는 표준 BSL 및 EES보다 훨씬 더 정확한 사후 근사치를 제공한다. 특히 진정한 분포가 정규성에서 벗어날 경우 더욱 두드러진다.
• 이 방법은 추가로 필요한 시뮬레이션 수를 늘리지 않아도 되며, BSL의 계산 효율성을 유지하면서도 강건성을 향상시킨다.
• semiBSL는 시뮬레이션 수 n에 상대적으로 낮은 민감도를 보이지만, KDE가 표본 크기에 의존하므로 BSL보다는 더 민감하다.
• 모든 테스트 예제에서 EES보다 semiBSL의 사후 근사치가 더 우수하며, 조정이 적고 더 정확하다.
• 강한 비선형 의존성 구조가 존재하는 경우(예: 보움 앤 브ัส 예제) semiBSL는 성능이 열 劣하므로 복잡한 의존성 하에서는 한계가 있음을 시사한다.
• 상관행렬에 대한 수축 추정량(예: 와튼의 방법)을 사용할 경우 고차원 설정(예: M/G/1 큐 모델)에서 뚜렷한 계산적 이점을 얻을 수 있다.