[논문 리뷰] Towards Automatic Model Comparison: An Adaptive Sequential Monte Carlo Approach

Yan Zhou, Adam M. Johansen외 1명|arXiv (Cornell University)|2013. 03. 13.

Statistical Methods and Bayesian Inference참고 문헌 49인용 수 26

한 줄 요약

이 논문은 모델 증거와 사후 모형 확률을 추정하기 위해 적응형 분포 배치와 제안 분포 튜닝을 사용하는 적응형 순차 몽테카를로(SMC) 프레임워크를 제안한다. 이 방법은 최소한의 수동 튜닝으로도 최신 기술 수준의 성능을 달성하며, 다양한 모형에서 계산 효율성과 강건성 면에서 RJMCMC와 PMCMCMC를 능가한다.

ABSTRACT

Model comparison for the purposes of selection, averaging and validation is a problem found throughout statistics. Within the Bayesian paradigm, these problems all require the calculation of the posterior probabilities of models within a particular class. Substantial progress has been made in recent years, but difficulties remain in the implementation of existing schemes. This paper presents adaptive sequential Monte Carlo (\smc) sampling strategies to characterise the posterior distribution of a collection of models, as well as the parameters of those models. Both a simple product estimator and a combination of \smc and a path sampling estimator are considered and existing theoretical results are extended to include the path sampling variant. A novel approach to the automatic specification of distributions within \smc algorithms is presented and shown to outperform the state of the art in this area. The performance of the proposed strategies is demonstrated via an extensive empirical study. Comparisons with state of the art algorithms show that the proposed algorithms are always competitive, and often substantially superior to alternative techniques, at equal computational cost and considerably less application-specific implementation effort.

연구 동기 및 목표

• 최소한의 사용자 튜닝으로 자동화되고 강건하며 효율적인 베이지안 모형 비교의 과제를 해결하기 위해.
• RJMCMC와 PMCMCMC와 같은 최신 기술 수준의 MCMC 기법을 초월하여 모형 증거 추정을 위한 SMC 기법을 확장하기 위해.
• 수렴성 향상과 분산 감소를 위해 SMC 내부의 중간 분포 배치 및 제안 분포 분산 튜닝을 위한 적응 전략을 개발하기 위해.
• 지역적으로 혼합되는 MCMC 제안만을 사용하고 애플리케이션에 특화된 설계를 최소화하여 거의 자동화된 구현을 가능하게 하기 위해.
• 실세계 문제에 대한 확장성과 성능을 입증하기 위해, GPU 병렬 처리 구현까지 포함함.

제안 방법

• 모형 사후분포를 목표로 하는 인공 분포의 시퀀스를 사용하는 순차 몽테카를로(SMC)를 적용하여 중요도 샘플링과 리샘플링을 통해 정규화 상수를 추정한다.
• 계산 비용과 정확도의 균형을 맞추기 위해 일정한 CESS* = 0.999를 사용하여 중간 분포의 적응적 스케줄링을 도입한다.
• 혼합성 향상과 증거 추정의 분산 감소를 위해 제안 분포를 위한 적응적 MCMC 커널 튜닝을 제안한다.
• SMC와 경로 샘플링(열역학적 통합)을 조합하여 낮은 분산, 편향 보정된 모형 증거 추정을 생산한다.
• 후행 모형 확률을 강력하게 추정하기 위해 제품 추정기와 경로 샘플링 추정기 변형을 사용한다.
• 모형과 입자 간 자연스러운 병렬 처리가 가능하여 GPU 및 다중 코어 아키텍처에 적합하다.

실험 결과

연구 질문

• RQ1 적응형 SMC는 광범위한 수동 튜닝 없이도 강건하고 거의 자동화된 베이지안 모형 비교 방법을 제공할 수 있는가?
• RQ2 중간 분포의 적응적 배치와 제안 분포 튜닝은 모형 증거 추정의 정확도와 분산에 어떤 영향을 미치는가?
• RQ3 제안된 SMC 기반 접근법은 계산 비용, 분산, 수렴성 측면에서 RJMCMC와 PMCMCMC에 비해 어떻게 비교되는가?
• RQ4 GPU와 같은 병렬 컴퓨팅 하드웨어를 사용하여 SMC 기반 모형 비교는 어느 정도 확장될 수 있는가?
• RQ5 SMC 내부의 경로 샘플링이 편향을 감소시키면서도 계산 효율성을 유지할 수 있는가?

주요 결과

• 제안된 적응형 SMC2 알고리즘은 최소한의 튜닝으로도 RJMCMCMC와 PMCMCMC를 항상 능가하거나 동등하게 성능을 내며 분산과 정확도 측면에서 뛰어나다.
• 적응적 분포 배치와 제안 튜닝은 특히 비선형 ODE와 같은 복잡한 모형에서 수렴성 향상과 분산 감소에 크게 기여한다.
• 경로 샘플링 변형(SMC2-PS)은 낮은 편향과 중심극한정리에 기반한 강력한 이론적 근거를 보였다.
• 동일한 PET 데이터에 대해 이전 연구(Zhou 등, 2013)와 유사한 결과를 도출했지만, 훨씬 적은 구현 노력과 유사한 계산 비용을 기록했다.
• SMC2는 효율적이고 확장 가능한 병렬 처리를 가능하게 하여 GPU와 같은 고성능 컴퓨팅 환경에 적합하다.
• 경로 샘플링에서 편향 감소 기법의 비용이 극히 낮아 항상 사용하여 추정 정확도를 향상시켜야 한다.