[논문 리뷰] BSL: An R Package for Efficient Parameter Estimation for Simulation-Based Models via Bayesian Synthetic Likelihood

Ziwen An, Leah F. South외 1명|arXiv (Cornell University)|2019. 07. 25.

Statistical Methods and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 베이지안 합성우도(Bayesian Synthetic Likelihood, BSL)를 사용하여 시뮬레이션 기반 모형에서 효율적인 매개변수 추정을 위한 BSL R 패키지를 소개한다. 이 패키지는 표준, 비편향, 반모수적 합성우도 추정기법과 함께 그래픽스 로지스틱 회귀 및 수축 추정 기법을 통합하여 시뮬레이션 부담을 줄이며, 복잡한 모형의 비가능한 우도 함수를 가진 경우에도 더 빠르고 확장 가능한 추론을 가능하게 한다.

ABSTRACT

Bayesian synthetic likelihood (BSL) is a popular method for estimating the parameter posterior distribution for complex statistical models and stochastic processes that possess a computationally intractable likelihood function. Instead of evaluating the likelihood, BSL approximates the likelihood of a judiciously chosen summary statistic of the data via model simulation and density estimation. Compared to alternative methods such as approximate Bayesian computation (ABC), BSL requires little tuning and requires less model simulations than ABC when the chosen summary statistic is high-dimensional. The original synthetic likelihood relies on a multivariate normal approximation of the intractable likelihood, where the mean and covariance are estimated by simulation. An extension of BSL considers replacing the sample covariance with a penalised covariance estimator to reduce the number of required model simulations. Further, a semi-parametric approach has been developed to relax the normality assumption. In this paper, we present an R package called BSL that amalgamates the aforementioned methods and more into a single, easy-to-use and coherent piece of software. The R package also includes several examples to illustrate how to use the package and demonstrate the utility of the methods.

연구 동기 및 목표

• 고차원 요약 통계량 설정에서 전통적인 우도 없는 방법(예: ABC)의 계산 비효율성을 해결한다.
• 고급 BSL 방법을 통합한 단일, 사용자 友好的 R 패키지를 개발하여 확장성 향상과 모형 시뮬레이션 요구량 감소를 도모한다.
• 다양한 합성우도 추정기와 공분산 수축 기법을 통합하여 성능과 강인성을 향상시킨다.
• 재현 가능한 연구와 방법론의 도입을 지원하기 위해 내장된 예제와 시각화 도구를 제공한다.
• 고차원 또는 고매개변수 공간을 가진 복잡한 모형, 예를 들어 확률적 세포 생물학 모형 및 금융 환율 모형에 대한 효율적 추론을 가능하게 한다.

제안 방법

• 모의 요약 통계량 기반의 다변량 정규분포 근사에 기반한 베이지안 합성우도(BCS)를 구현한다.
• 수정된 표본 공분산 행렬을 사용하여 공분산 추정의 편향을 줄이는 비편향 합성우도 추정기법을 도입한다.
• 그래픽스 로지스틱 회귀 및 수축 추정기법(예: Warton의 방법)을 통해 정규화된 공분산 추정을 적용하여 필요한 시뮬레이션 수를 감소시킨다.
• 병렬 처리와 공유 시뮬레이션 재사용을 통해 효율적인 계산을 수행하는 MCMC 샘플링을 사용한다.
• 목표 우도의 로그 표준편차에 기반하여 정규화 파rameter를 자동으로 조정하는 펜alty 선택 함수 `selectPenalty`를 개발한다.
• 핵밀도 추정을 통해 요약 통계량 분포의 정규성 가정을 완화함으로써 반모수적 BSL을 지원한다.

실험 결과

연구 질문

• RQ1 공분산 수축 추정을 통한 BSL이 정확한 사후 추론을 위해 필요한 모형 시뮬레이션 수를 현저히 줄일 수 있는가?
• RQ2 요약 통계량이 고차원일 경우, BSL은 ABC에 비해 계산 효율성과 정확도 측면에서 어떻게 비교되는가?
• RQ3 비편향 및 반모수적 BSL 추정기법의 사용이 모형 잘못 설정 하에서 사후 추정 성능에 얼마나 기여하는가?
• RQ4 제안된 펜alty 선택 절차는 MCMC 환경에서 공분산 추정의 최적 정규화 파rameter를 신뢰성 있게 식별할 수 있는가?
• RQ5 고차원 요약 통계량 또는 많은 수의 매개변수를 가진 모형에 대해 구현된 방법들이 얼마나 잘 확장되는가?

주요 결과

• BSL R 패키지는 다양한 BSL 변종과 수축 기법을 하나의 통합 소프트웨어 프레임워크로 통합하여 복잡한 모형에 대한 효율적 추론을 가능하게 하였다.
• 패널티 선택 기반 그래픽스 로지스틱 회귀를 사용함으로써, 최적의 패널티 값이 n = 500에서 선택된 MA(2) 예제에서 필요한 시뮬레이션 수를 감소시키면서도 사후 정확도를 유지하였다.
• 비편향 BSL 추정기법은 특히 고차원 설정에서 표준 BSL에 비해 MCMC 체인의 혼합 성능을 크게 향상시키고 편향을 감소시켰다.
• 반모수적 BSL 접근법은 요약 통계량이 정규분포에서 벗어나도 강인한 성능을 보였으며, 경미한 비정규성 하에서도 표준 BSL를 능가하였다.
• `selectPenalty` 함수는 사후 분산과 편향을 균형 잡는 데 효과적으로 정규화 파rameter를 식별하였으며, 목표 우도의 로그 표준편차는 원하는 값(예: 1.44–1.50)과 유사하였다.
• 패키지는 실제 응용 사례에서 뛰어난 성능을 보였으며, 고차원 확률적 세포 생물학 모형과 다중매개변수 금융 환율 모형에 대해 실용적 유용성을 확인하였다.