[논문 리뷰] Bayesian Optimization for Likelihood-Free Inference of Simulator-Based Statistical Models

Michael U. Gutmann, Jukka Corander|arXiv (Cornell University)|2015. 01. 14.

Gaussian Processes and Bayesian Inference참고 문헌 56인용 수 86

한 줄 요약

이 논문은 가능도 함수가 추정이 불가능한 모델을 대상으로 하는 시뮬레이터 기반 통계적 추론을 가속화하기 위해 베이지안 최적화를 활용하는 BOLFI(Bayesian Optimization for Likelihood-Free Inference)를 제안한다. 이 방법은 관측 데이터와 시뮬레이션 데이터 간의 차이를 가우시안 프로세스로 모델링하고, 베이지안 최적화를 통해 다음으로 시뮬레이션할 파라미터를 지능적으로 선택한다. 이로 인해 가능도 함수가 추정이 불가능한 모델에서 시뮬레이션 횟수를 수 개의 주기수만큼 감소시켜 계산 효율을 크게 향상시킨다.

ABSTRACT

Our paper deals with inferring simulator-based statistical models given some observed data. A simulator-based model is a parametrized mechanism which specifies how data are generated. It is thus also referred to as generative model. We assume that only a finite number of parameters are of interest and allow the generative process to be very general; it may be a noisy nonlinear dynamical system with an unrestricted number of hidden variables. This weak assumption is useful for devising realistic models but it renders statistical inference very difficult. The main challenge is the intractability of the likelihood function. Several likelihood-free inference methods have been proposed which share the basic idea of identifying the parameters by finding values for which the discrepancy between simulated and observed data is small. A major obstacle to using these methods is their computational cost. The cost is largely due to the need to repeatedly simulate data sets and the lack of knowledge about how the parameters affect the discrepancy. We propose a strategy which combines probabilistic modeling of the discrepancy with optimization to facilitate likelihood-free inference. The strategy is implemented using Bayesian optimization and is shown to accelerate the inference through a reduction in the number of required simulations by several orders of magnitude.

연구 동기 및 목표

• 가능도 함수가 추정이 불가능한 시뮬레이터 기반 모델에 대해 가능도 없는 추론 방법의 높은 계산 비용을 해결한다.
• 기존 방법들이 다음으로 어디에 시뮬레이션할지를 안내 없이 많은 수의 무작위 시뮬레이션을 요구하는 비효율성을 해결한다.
• 불확실성 추정과 최적화를 활용하여 관측 데이터를 가장 잘 재현하는 파라미터 값을 찾는 데 도움이 되는 전략을 개발한다.
• 기존 가능도 기반 방법이 실패하는 복잡한 모델—예를 들어 은닉 변수를 포함한 스토케스틱 동역학계—에서도 효율적인 추론을 가능하게 한다.

제안 방법

• 모델 파라미터에 대한 관측 데이터와 시뮬레이션 데이터 간의 차이를 가우시안 프로세스를 사용해 함수로 모델링한다.
• 탐색과 이용의 균형을 이루는 확보 함수를 기반으로 베이지안 최적화를 사용해 다음으로 시뮬레이션할 파라미터 값을 선택한다.
• 결정적 또는 확률적 확보 규칙을 사용해 가우시안 프로세스 모델의 차이를 순차적으로 업데이트한다.
• 차이 함수를 최소화하여 관측 데이터를 가장 잘 재현하는 파라미터 값을 식별한다.
• 합성 가능도나 ABC와 같은 가능도 없는 추론 프레임워크와 차이 모델을 통합하여 효율성을 향상시킨다.
• 가우시안 프로세스의 사후분포를 사용해 차이에 대한 불확실성을 추정하고, 정보 수확량이 높은 영역으로 최적화를 이끌어낸다.

실험 결과

연구 질문

• RQ1 베이지안 최적화가 가능도 함수가 추정이 불가능한 시뮬레이터 기반 모델에서 가능도 없는 추론을 위한 시뮬레이션 횟수를 줄일 수 있는가?
• RQ2 BOLFI는 표준 가능도 없는 추론 방법과 비교해 시뮬레이션 효율성과 수렴 속도 측면에서 어떻게 성능을 내는가?
• RQ3 BOLFI는 고차원 파라미터 공간과 비선형 역학을 가진 복잡한 시뮬레이터 기반 모델을 어느 정도 다룰 수 있는가?
• RQ4 BOLFI는 차이 추정의 노이즈와 모델 잘못 설정에 대해 얼마나 강인한가?
• RQ5 다양한 확보 함수가 추론 과정의 수렴성과 정확성에 어떤 영향을 미치는가?

주요 결과

• BOLFI는 표준 가능도 없는 추론 방법과 비교해 시뮬레이션 횟수를 수 개의 주기수만큼 감소시킨다.
• Ricker 모델(100개의 데이터 포인트)을 통해 검증된 바에 따르면, 이 방법은 훨씬 적은 수의 시뮬레이션으로도 정확한 추론을 달성한다.
• 차이에 대해 로그-가우시안 프로세스 모델을 사용함으로써 효과적인 불확실성 추정과 파라미터 공간의 효율적 탐색이 가능해진다.
• 이 방법은 노이즈에 강인하며, 복잡한 비선형 역학과 은닉 변수를 포함한 모델을 처리할 수 있다.
• 실험 결과에 따르면, 고정된 시뮬레이션 예산 하에서 MCMC 기반 추론보다 BOLFI가 더 빠르게 수렴하고 더 높은 정확도를 보인다.
• 특히 고차원 파라미터 공간에서 표준 ABC 및 합성 가능도 접근법보다 계산 효율성이 뛰어나다.