[논문 리뷰] A comparison of emulation methods for Approximate Bayesian Computation

Franck Jabot, Guillaume Lagarrigues외 2명|arXiv (Cornell University)|2014. 12. 16.

Markov Chains and Monte Carlo Methods참고 문헌 38인용 수 11

한 줄 요약

이 논문은 계산 비용이 높은 모델에 대해 Approximate Bayesian Computation (ABC)를 가속화하기 위해 통계적 에뮬레이션 방법을 제안하고 평가한다. 저자들은 소수의 시뮬레이션 실행을 기반으로 훈련된 빠른 통계적 에뮬레이터로 비용이 많이 드는 모델 시뮬레이션을 대체함으로써, 확률적 생태학적 모델에서 계산 시간을 두 배로 줄이는 새로운 순차적 ABC 알고리즘을 제시한다. R 루틴은 EasyABC 패키지에 포함되어 있다.

ABSTRACT

Approximate Bayesian Computation (ABC) is a family of statistical inference techniques, which is increasingly used in biology and other scientific fields. Its main benefit is to be applicable to models for which the computation of the model likelihood is intractable. The basic idea of ABC is to empirically approximate the model likelihood by using intensive realizations of model runs. Due to computing time limitations, ABC has thus been mainly applied to models that are relatively quick to simulate. We here aim at briefly introducing the field of statistical emulation of computer code outputs and to demonstrate its potential for ABC applications. Emulation consists in replacing the costly to simulate model by another (quick to simulate) statistical model called emulator or meta-model. This emulator is fitted to a small number of outputs of the original model, and is subsequently used as a surrogate during the inference procedure. In this contribution, we first detail the principles of model emulation, with a special reference to the ABC context in which the description of the stochasticity of model realizations is as important as the description of the trends linking model parameters and outputs. We then compare several emulation strategies in an ABC context, using as case study a stochastic ecological model of community dynamics. We finally describe a novel emulation-based sequential ABC algorithm which is shown to decrease computing time by a factor of two on the studied example, compared to previous sequential ABC algorithms. Routines to perform emulation-based ABC were made available within the R package EasyABC.

연구 동기 및 목표

• 복잡하고 시뮬레이션에 시간이 오래 걸리는 모델에 적용할 때 Approximate Bayesian Computation (ABC)의 높은 계산 비용을 해결하기 위해.
• ABC 추론 중에 비용이 많이 드는 모델 실행을 빠른 대체 모델(에뮬레이터)로 대체하기 위해 통계적 에뮬레이션을 활용하는 방법을 탐색하기 위해.
• 특히 모델 출력물의 추세와 확률적 변동성을 동시에 모델링하는 맥락에서 ABC 내에서 다양한 에뮬레이션 전략을 평가하기 위해.
• 에뮬레이션 기반의 새로운 순차적 ABC 알고리즘을 개발하고 검증하여 계산 효율성을 향상시키기 위해.
• EasyABC R 패키지를 통해 에뮬레이션 기반 ABC의 접근성 있는 구현을 제공하기 위해.

제안 방법

• 저자들은 통계적 에뮬레이터(또는 메타모델)를 사용하여 소수의 시뮬레이션 실행 기반으로 계산 비용이 큰 모델의 출력을 근사한다.
• 에뮬레이터는 입력 파라미터에 대한 모델 출력의 평균(추세)과 분산(확률적 변동성)을 모두 포착하도록 훈련된다.
• 연구에서는 스케줄링이 중요한 ABC 맥락에서 가우시안 프로세스와 다항식 카오스 전개와 같은 여러 에뮬레이션 기법을 비교한다.
• 저자들은 후행 밀도가 높은 파라미터 영역에 집중하기 위해 반복적으로 에뮬레이터를 개선하는 새로운 순차적 ABC 알고리즘을 제안한다.
• 알고리즘은 에뮬레이터를 활용해 파라미터 선택을 안내하고 필요한 모델 시뮬레이션 수를 줄인다.
• 구현은 R 패키지 EasyABC에 통합되어 있어 재현 가능하고 접근성이 높은 에뮬레이션 기반 ABC 워크플로우를 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델의 추세와 확률적 변동성을 정확히 포착해야 하는 맥락에서 Approximate Bayesian Computation에 가장 효과적인 통계적 에뮬레이션 방법은 무엇인가?
• RQ2 에뮬레이션은 어떻게 순차적 ABC 프레임워크에 통합되어 계산 효율성을 향상시킬 수 있는가?
• RQ3 에뮬레이션을 통해 ABC에서 필요한 모델 시뮬레이션 수를 얼마나 줄일 수 있으며, 이로 인해 추론 정확도가 손상되지 않을 정도로 유지될 수 있는가?
• RQ4 제안된 순차적 에뮬레이션 기반 ABC 알고리즘의 성능은 기존의 순차적 ABC 방법에 비해 계산 시간 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 추정이 불가능한 확률적 생태학적 모델에 효과적으로 적용될 수 있는가?

주요 결과

• 사례 연구에서 제안된 에뮬레이션 기반 순차적 ABC 알고리즘이 이전의 순차적 ABC 방법에 비해 계산 시간을 두 배로 줄였다.
• 추세와 변동성을 함께 모델링하는 에뮬레이션 전략(예: 이질적 노이즈를 가진 가우시안 프로세스)은 변동성을 忽시하는 전략보다 더 정확한 사후 근사치를 제공한다.
• 소수의 초기 모델 실행(예: 50~100회)만으로도 효과적인 에뮬레이터를 훈련시킬 수 있으며, 추가 시뮬레이션의 필요성을 크게 줄일 수 있다.
• 에뮬레이션 기반 접근법은 계산 부담이 크게 감소했음에도 불구하고 양호한 사후 추론 정확도를 유지한다.
• 구현된 루틴을 포함한 R 패키지 EasyABC는 연구자들이 추가 코드 작성 없이도 자신의 ABC 문제에 이 방법을 적용할 수 있도록 한다.