[논문 리뷰] Batch simulations and uncertainty quantification in Gaussian process surrogate approximate Bayesian computation

Marko Järvenpää, Aki Vehtari외 1명|arXiv (Cornell University)|2019. 10. 14.

Markov Chains and Monte Carlo Methods인용 수 6

한 줄 요약

이 논문은 유한한 시뮬레이션 수로 인한 사후 추정치의 불확실성에 대해 가우시안 프로세스(GP) 서브라우트 모델을 사용하여 추정치의 불확실성을 정량화함으로써 약간의 베이지안 계산(ABC)을 향상시키는 Bayesian ABC 프레임워크를 제안한다. 이는 비용이 많이 드는 시뮬레이션을 병렬화하기 위해 배치-순차 베이지안 실험 설계를 도입하여 벽시계 시간을 크게 줄이고 정확도를 유지하며, ABC 사후 모멘트의 수치적 불확실성 전파를 제공한다.

ABSTRACT

The computational efficiency of approximate Bayesian computation (ABC) has been improved by using surrogate models such as Gaussian processes (GP). In one such promising framework the discrepancy between the simulated and observed data is modelled with a GP which is further used to form a model-based estimator for the intractable posterior. In this article we improve this approach in several ways. We develop batch-sequential Bayesian experimental design strategies to parallellise the expensive simulations. In earlier work only sequential strategies have been used. Current surrogate-based ABC methods also do not fully account the uncertainty due to the limited budget of simulations as they output only a point estimate of the ABC posterior. We propose a numerical method to fully quantify the uncertainty in, for example, ABC posterior moments. We also provide some new analysis on the GP modelling assumptions in the resulting improved framework called Bayesian ABC and discuss its connection to Bayesian quadrature (BQ) and Bayesian optimisation (BO). Experiments with toy and real-world simulation models demonstrate advantages of the proposed techniques.

연구 동기 및 목표

• 다중 코어 시스템에서의 확장성에 제약을 주는 GP 서브라우트 기반 ABC에서의 순차적 시뮬레이션의 비효율성을 해결한다.
• 제한된 시뮬레이션 예산으로 인한 ABC 사후 요약통계량(예: 평균 및 분산)의 불확실성 정량화를 수행하며, 이는 이전 연구에서의 빈도이다.
• GP 근사와 유한한 시뮬레이션 예산에서 발생하는 불확실성을 동시에 다루는 프레임워크를 개발하여 추론의 신뢰성을 향상시킨다.
• 베이지안 실험 설계를 활용해 ABC 추론에서 병렬 시뮬레이션을 가능하게 하여 샘플 효율성과 벽시계 시간 성능을 향상시킨다.
• 베이지안 ABC, 베이지안 적분(BQ), 그리고 베이지안 최적화(BO) 간의 개념적 및 방법론적 연관성을 수립하여 이론적 이해를 심화시킨다.

제안 방법

• 관측치와 시뮬레이션 데이터 간의 차이를 가우시안 프로세스(GP)로 모델링하여 요약 통계량의 확률적 예측을 가능하게 한다.
• EIV 및 EIMAD 할당 함수를 통해 배치-순차 베이지안 실험 설계를 적용하여 병렬로 다수의 시뮬레이션 점을 선택함으로써 벽시계 시간 효율성을 향상시킨다.
• 결정 이론 프레임워크를 사용해 기대 사후 분산을 최소화하는 배치 점을 선택함으로써 탐색과 이용의 균형을 이룬다.
• 차이 모델의 GP 불확실성을 수치적 통합을 통해 ABC 사후로 전파하여 사후 모멘트의 불확실성 정량화를 가능하게 한다.
• 불가해한 ABC 사후를 GP 기반 추정기로 간주하고, GP 예측에 대한 몬테카를로 샘플링을 통해 불확실성 정량화를 수행한다.
• MCMC 샘플링을 사용해 사후 근사치를 도출하고, MAXV, MAXMAD, RAND, EIV, EIMAD 등의 할당 함수를 사용해 배치 및 순차 설정 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 배치-순차 베이지안 실험 설계는 정확도를 희생시키지 않고 GP 서브라우트 기반 ABC의 벽시계 시간 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 제한된 수의 시뮬레이션만 가능할 경우, ABC 사후 모멘트의 불확실성은 어느 정도 정량화될 수 있는가?
• RQ3 다양한 할당 함수(EIV, EIMAD, MAXV 등)는 배치 설정에서 사후 근사치의 질과 계산 효율성 측면에서 어떻게 비교될 수 있는가?
• RQ4 베이지안 ABC, 베이지안 적분(BQ), 그리고 베이지안 최적화(BO) 간의 관계는 무엇이며, BQ의 통찰은 ABC에서의 불확실성 정량화에 어떻게 기여할 수 있는가?
• RQ5 제안된 프레임워크는 모형 오류에 대해 얼마나 강인한가? 그리고 불확실성 추정치는 사후 근사치의 수렴성과 신뢰성 반영에 어떻게 기여하는가?

주요 결과

• 제안된 배치-순차 전략(EIV, EIMAD)은 순차적 방법에 비해 벽시계 시간을 크게 줄였으며, 사후 근사치 정확도 손실는 최소한이었다.
• EIV 및 EIMAD 할당 함수는 MAXV 및 MAXMAD보다 더 안정적이고 정확한 사후 추정치를 도출하였으며, EIV는 불확실성 정량화 측면에서 略적으로 더 우수한 성능을 보였다.
• RAND는 완전히 병렬화 가능하지만 고차원 문제에서는 성능이 열악하여, 무작위 샘플링 대비 정보 기반의 배치 선택의 필요성을 강조한다.
• 로렌츠 모델과 박테리아 감염 모델에서 ABC 사후 기대치(예: 평균 및 95% 신뢰구간)의 불확실성 정량화가 성공적으로 수행되었으며, 반복 횟수가 증가함에 따라 진짜 값에 수렴하는 경향을 보였다.
• 박테리아 감염 모델에서 600회 반복 후에도 제한된 시뮬레이션으로도 베이지안 ABC 프레임워크가 사후 모멘트의 불확실성에 대한 엄밀한 정량화를 가능하게 하였다.
• 베이지안 적분(BQ)과의 연결성은 향후 분석적 불확실성 전파의 잠재력을 시사하며, 정확도 향상과 계산 비용 감소에 기여할 수 있다.