[논문 리뷰] GPS-ABC: Gaussian Process Surrogate Approximate Bayesian Computation

Edward Meeds, Max Welling|arXiv (Cornell University)|2014. 01. 13.

Markov Chains and Monte Carlo Methods참고 문헌 29인용 수 56

한 줄 요약

GPS-ABC는 메트로폴리스-해싱 수용 단계에서 불확실성 추정을 활용하여 근사 베이지안 계산(ABC)에서 시뮬레이터 호출 횟수를 크게 줄이는 가우시안 프로세스 대체 모델을 도입한다. 매개변수에서 요약 통계로의 사전 맵핑을 모델링하는 GP에 시뮬레이션 결과를 저장함으로써, 새로운 시뮬레이션을 수행할지 또는 대체 모델에 의존할지를 적응적으로 결정하며, 이로 인해 후행 추론의 오차를 통제하면서도 효율성 향상을 달성한다.

ABSTRACT

Scientists often express their understanding of the world through a computationally demanding simulation program. Analyzing the posterior distribution of the parameters given observations (the inverse problem) can be extremely challenging. The Approximate Bayesian Computation (ABC) framework is the standard statistical tool to handle these likelihood free problems, but they require a very large number of simulations. In this work we develop two new ABC sampling algorithms that significantly reduce the number of simulations necessary for posterior inference. Both algorithms use confidence estimates for the accept probability in the Metropolis Hastings step to adaptively choose the number of necessary simulations. Our GPS-ABC algorithm stores the information obtained from every simulation in a Gaussian process which acts as a surrogate function for the simulated statistics. Experiments on a challenging realistic biological problem illustrate the potential of these algorithms.

연구 동기 및 목표

• 우도가 계산 불가능한 시뮬레이션 기반 모델에서 약간 높은 계산 비용을 가진 근사 베이지안 계산(ABC)의 문제를 해결하기 위해.
• ABC 프레임워크에서 후행 추론을 위해 필요한 고비용 시뮬레이터 호출 횟수를 줄이기 위해.
• 과거 시뮬레이션에서 학습하고 시간이 지남에 따라 향상되는 가우시안 프로세스를 사용한 대체 모델링 접근법을 개발하기 위해.
• 대체 모델의 수용 확률에 대한 불확실성을 사용하여 MCMC에서의 샘플링 오차를 통제하고 시뮬레이션 결정을 안내하기 위해.
• 복잡하고 계산 비용이 큰 과학적 시뮬레이션에서 효율적이고 확장 가능한 추론을 가능하게 하기 위해.

제안 방법

• 이 방법은 시뮬레이터 매개변수에서 요약 통계로의 맵핑을 모델링하기 위해 가우시안 프로세스(GP)를 사용하여 시뮬레이션 출력의 대체 모델을 생성한다.
• 각 MCMC 단계에서 GP는 수용 확률에 대한 예측 분포를 제공하며, 이는 불확실성 추정도 포함한다.
• 알고리즘은 GP의 예측에 대한 불확실성을 사용하여, 새롭게 시뮬레이션을 수행할지 또는 메트로폴리스-해싱(MH) 결정에 대해 대체 모델의 추정치를 신뢰할지 결정한다.
• 불확실성이 높을 경우, MH 단계에서 오류 위험을 줄이기 위해 추가 시뮬레이션을 수행한다.
• 모든 새로운 시뮬레이션마다 GP는 점진적으로 업데이트되어 정확도가 향상되고 향후 시뮬레이션 필요성이 감소한다.
• 이 접근법은 GP의 불확실성을 직접 MH 수용 기준에 통합하여, 높은 효율성과 통제된 편향을 가능하게 한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 대체 모델은 후행 정확도를 유지하면서도 ABC 추론에서 시뮬레이터 호출 횟수를 줄일 수 있는가?
• RQ2 대체 모델의 불확실성은 MCMC에서의 적응형 시뮬레이션 결정을 어떻게 안내할 수 있는가?
• RQ3 고차원적이거나 비용이 큰 시뮬레이션 환경에서 GP 기반 대체 모델은 ABC의 효율성을 어느 정도 향상시킬 수 있는가?
• RQ4 대체 모델의 불확실성 사용은 우도 기반 추론에서 MCMC 체인의 수렴성과 혼합 성능에 어떤 영향을 미치는가?
• RQ5 사전에 계산된 통계를 활용하여 후행 예측 검증을 통해 모델 점검 및 선택을 지원할 수 있는가?

주요 결과

• GPS-ABC 알고리즘은 매번 새로운 시뮬레이션을 거치며 정확도가 향상되는 GP 대체 모델에 의존함으로써, ABC 추론에 필요한 시뮬레이터 호출 횟수를 크게 줄였다.
• 대체 모델의 수용 확률에 대한 불확실성을 사용하여, 시뮬레이션을 수행할지 또는 대체 모델을 신뢰할지 결정함으로써 샘플링 오차를 통제하는 데 성공했다.
• 실제 생물학적 문제(라이트-파이저 모델)에 대한 실험 결과, 계산 비용을 극적으로 줄였음에도 불구하고 합리적인 후행 정확도를 유지함을 확인했다.
• 후행 예측 검증이 자연스럽게 지원되며, ABC 요약 통계는 사전에 계산되어 모델 평가 및 선택에 사용된다.
• 대체 모델에서 생성된 관측 데이터와 후행 예측 분포를 비교함으로써 효율적인 모델 점검이 가능해졌다.
• 이 방법은 향후 시뮬레이션 비용을 추가로 줄이기 위해 하미르톤 몬테카를로 또는 베이지안 최적화의 획득 함수와 같은 고급 샘플링 기법과의 통합 잠재력을 보였다.