[논문 리뷰] Approximating the Likelihood in Approximate Bayesian Computation

Christopher Drovandi, Clara Grazian외 2명|arXiv (Cornell University)|2018. 03. 18.

Markov Chains and Monte Carlo Methods참고 문헌 73인용 수 10

한 줄 요약

이 논문은 비모수적 우도 추정 대신 모수적 또는 경험적 대안을 사용하여 근사 베이지안 계산(ABC)에서 계산 효율성을 향상시키기 위해 두 가지 우도 근사 방법—베이지안 합성우도(BCel)와 베이지안 경험우도(BCel)—를 제안한다. BSL은 요약 통계량 분포에 다변량 정규분포 근사를 사용하며, BCel은 모멘트 제약 조건을 활용해 경험우도를 구성한다. 이 두 방법은 시뮬레이션 횟수를 줄이고, 비정규 사전분포가 존재하는 경우에도 베이즈 요인을 통한 모델 비교를 가능하게 한다.

ABSTRACT

This chapter will appear in the forthcoming Handbook of Approximate Bayesian Computation (2018). The conceptual and methodological framework that underpins approximate Bayesian computation (ABC) is targetted primarily towards problems in which the likelihood is either challenging or missing. ABC uses a simulation-based non-parametric estimate of the likelihood of a summary statistic and assumes that the generation of data from the model is computationally cheap. This chapter reviews two alternative approaches for estimating the intractable likelihood, with the goal of reducing the necessary model simulations to produce an approximate posterior. The first of these is a Bayesian version of the synthetic likelihood (SL), initially developed by Wood (2010), which uses a multivariate normal approximation to the summary statistic likelihood. Using the parametric approximation as opposed to the non-parametric approximation of ABC, it is possible to reduce the number of model simulations required. The second likelihood approximation method we consider in this chapter is based on the empirical likelihood (EL), which is a non-parametric technique and involves maximising a likelihood constructed empirically under a set of moment constraints. Mengersen et al (2013) adapt the EL framework so that it can be used to form an approximate posterior for problems where ABC can be applied, that is, for models with intractable likelihoods. However, unlike ABC and the Bayesian SL (BSL), the Bayesian EL (BCel) approach can be used to completely avoid model simulations in some cases. The BSL and BCel methods are illustrated on models of varying complexity.

연구 동기 및 목표

• 우도 자유 추론에서 표준 ABC 방법의 높은 계산 비용과 튜닝 부담을 해결하기 위해.
• 이해할 수 없는 우도를 가진 모델에서 사후분포 근사를 위한 모델 시뮬레이션 횟수를 줄이기 위해.
• 비모수적 ABC보다 요약 통계량 차원 증가에 따라 더 잘 스케일링되는 우도 근사 방법을 개발하기 위해.
• 비정규 사전분포가 존재하는 경우에도 베이즈 요인을 통한 모델 비교를 가능하게 하기 위해, 이는 표준 ABC에서의 제한 사항이다.

제안 방법

• BSL은 요약 통계량이 평균 μ(θ)와 공분산 Σ(θ)를 가진 다변량 정규분포를 따른다고 가정하며, 이는 모델에서 몬테카를로 시뮬레이션을 통해 추정된다.
• 합성우도는 p_n(s_obs|θ) = N(s_obs; μ_n(θ), Σ_n(θ))로 구성되며, 여기서 n은 모멘트를 추정하기 위해 사용된 시뮬레이션 수이다.
• BCel은 요약 통계량에서 유도된 모멘트 제약 조건을 바탕으로 경험우도를 구성하며, 일부 경우에 모델 시뮬레이션을 피할 수 있는 비모수적 프레임워크를 사용한다.
• BCel의 제약 조건은 재매개변수화에 대해 불변이며, 상관관계 구조에 대해 정보를 제공하는 방식으로 선택되며, 예를 들어 스피어만의 ρ와 같은 지표를 포함한다.
• BSL과 BCel은 모두 베이지안 프레임워크에 통합되어 근사 사후분포를 생성하며, BCel은 정확한 베이즈 요인 계산을 가능하게 한다.
• 이 방법들은 복잡도가 증가하는 모델들에 대해 검증되었으며, 클레이턴 복합도를 가진 다변량 g-and-k 분포를 포함한다.

실험 결과

연구 질문

• RQ1 요약 통계량의 우도에 대한 모수적 근사는 ABC에서 요구되는 모델 시뮬레이션 횟수를 줄일 수 있는가?
• RQ2 요약 통계량 차원 증가에 따라 BSL의 계산 효율성과 확장성은 ABC에 비해 어떻게 다를까?
• RQ3 경험우도를 사용하여 어떤 설정에서는 모델 시뮬레이션을 완전히 피할 수 있는 우도 근사 방법을 구성할 수 있는가?
• RQ4 ABC 맥락에서 신뢰할 수 있는 경험우도를 구성하기 위해 가장 효과적인 제약 조건은 무엇인가?
• RQ5 BCel은 비정규 사전분포가 존재하는 경우에도 베이즈 요인을 통한 모델 비교를 가능하게 할 수 있는가? 이는 표준 ABC에서의 제한 사항이다.

주요 결과

• BSL은 요약 통계량 분포에 대한 모수적 다변량 정규분포 근사를 사용함으로써 표준 ABC에 비해 요구되는 모델 시뮬레이션 횟수를 크게 줄였다.
• BCel 방법은 관측된 데이터에서 유도된 모멘트 제약 조건에 의존함으로써 일부 경우에 모델 시뮬레이션을 완전히 피할 수 있다.
• 다변량 클레이턴 복합도 시뮬레이션 연구에서 식 (4)에 정의된 스피어만의 ρ 사후분포는 진짜 값 0.5 주위에서 정확하게 근사되었다.
• BCel은 비정규 사전분포를 사용한 모델 비교 시 베이즈 요인 사용을 가능하게 하여, 표준 ABC에서 제공하지 않는 기능을 구현했다.
• 스케일링된 복합우도 스코어 함수와 같은 제약 조건의 선택은 재매개변수화에 대한 불변성과 사후곡률 적응을 향상시켰다.
• 경험적 결과는 BSL과 BCel이 고차원 요약 통계량과 복잡한 상관관계 구조를 가진 복잡한 모델들에서도 정확한 사후분포 근사를 제공함을 보여주었다.