[논문 리뷰] Semi-automatic Approximate Bayesian Computation

Paul Fearnhead, Dennis Prangle|arXiv (Cornell University)|2010. 04. 07.

Markov Chains and Monte Carlo Methods참고 문헌 29인용 수 19

한 줄 요약

이 논문은 추가 시뮬레이션을 통해 매개변수의 사후 평균을 추정함으로써, 근사 베이지안 계산(ABC)에서 최적의 요약 통계량을 선택하는 반자동 방법을 제안한다. 이 방법은 경험적 요약 통계량과 경쟁 방법에 비해 추론 정확도를 크게 향상시키며, 가능도가 추정이 어려운 모델에서 더 신뢰할 수 있는 매개변수 추정을 가능하게 한다.

ABSTRACT

Many modern statistical applications involve inference for complex stochastic models, where it is easy to simulate from the models, but impossible to calculate likelihoods. Approximate Bayesian computation (ABC) is a method of inference for such models. It replaces calculation of the likelihood by a step which involves simulating artificial data for different parameter values, and comparing summary statistics of the simulated data to summary statistics of the observed data. Here we show how to construct appropriate summary statistics for ABC in a semi-automatic manner. We aim for summary statistics which will enable inference about certain parameters of interest to be as accurate as possible. Theoretical results show that optimal summary statistics are the posterior means of the parameters. While these cannot be calculated analytically, we use an extra stage of simulation to estimate how the posterior means vary as a function of the data; and then use these estimates of our summary statistics within ABC. Empirical results show that our approach is a robust method for choosing summary statistics, that can result in substantially more accurate ABC analyses than the ad-hoc choices of summary statistics proposed in the literature. We also demonstrate advantages over two alternative methods of simulation-based inference.

연구 동기 및 목표

• 복잡한 모델에서 가능도가 추정이 어려운 상황에서 Approximate Bayesian Computation(ABC)에 적합한 정보성 있는 요약 통계량을 선택하는 데 도전하는 것.
• 관심 있는 매개변수에 대한 정보를 가장 잘 유지하는 요약 통계량을 선택함으로써 ABC의 추정 오차를 최소화하는 방법을 개발하는 것.
• 종종 열악한 추론 성능을 초래하는 경험적 요약 통계량 선택에 대한 실용적이고 시뮬레이션 기반의 대안을 제공하는 것.
• 모의 데이터로부터의 경험적 추정을 통해 최적의 요약 통계량—사후 평균—을 근사함으로써 ABC 정확도를 향상시키는 것.

제안 방법

• 이 방법은 관측된 데이터와 매개변수의 사후 평균 간의 기능적 관계를 추정하기 위해 보조 시뮬레이션 단계를 사용하며, 이를 회귀 문제로 간주한다.
• 이것은 시뮬레이션된 데이터로부터 유도된 요약 통계량을 함수로 하여 각 매개변수의 사후 평균이 어떻게 변하는지 모델링하기 위해 회귀 기반 추정을 적용한다.
• 이 보조 회귀에서 추정된 사후 평균은 이후 주 ABC 분석에서 최종 요약 통계량으로 사용된다.
• 이 방법은 최적의 요약 통계량이 매개변수의 사후 평균이라는 이론적 통찰을 활용하여, 히وري스틱한 선택에 비해 더 체계적인 대안을 제공한다.
• 이론적 가능도가 필요 없이 데이터에서 최적의 통계량으로의 매핑을 가능하게 하기 위해 베이지안 프레임워크 내에서 머신러닝 스타일의 회귀 기법을 통합한다.
• 이 방법은 초기 요약 통계량의 수동 선택과 시뮬레이션을 통한 최적 변환의 자동 추정을 조합하므로 반자동이다.

실험 결과

연구 질문

• RQ1 관심 있는 매개변수의 사후 추론 정확도를 극대화하는 방식으로 ABC에 대한 요약 통계량을 어떻게 선택할 수 있는가?
• RQ2 가능도가 추정이 어려운 환경에서 매개변수의 사후 평균을 효과적으로 추정할 수 있는가, 이를 최적의 요약 통계량으로 활용할 수 있는가?
• RQ3 ABC에서 추정된 사후 평균을 요약 통계량으로 사용할 경우, 경험적 또는 히وري스틱한 요약 통계량보다 더 정확한 추론을 이끌 수 있는가?
• RQ4 이 반자동 방법은 다른 시뮬레이션 기반 추론 기법과 비교해 성능 면에서 어떻게 다른가?

주요 결과

• 경험적 비교를 통해 제안된 방법이 일반적으로 사용되는 경험적 요약 통계량보다 훨씬 더 정확한 ABC 분석을 제공하는 것으로 확인되었다.
• 추정된 사후 평균을 요약 통계량으로 사용할 경우, 특히 고차원 매개변수 공간에서 추론 정밀도가 향상된다.
• 정확도와 강건성 측면에서 두 가지 다른 시뮬레이션 기반 추론 기법보다 본 방법이 뛰어나다.
• 경험적 결과는 이 반자동 접근이 가능도가 추정이 어려운 다양한 복잡한 확률 모델에서 강건함을 확인한다.
• 보조 시뮬레이션 단계는 데이터에 대한 사후 평균의 기능적 의존성을 효과적으로 포착하여, 분석적 가능도 평가 없이도 정확한 근사가 가능하다.