[논문 리뷰] Why approximate Bayesian computational (ABC) methods cannot handle model choice problems

Christian P. Robert, Jean‐Michel Marin외 1명|arXiv (Cornell University)|2011. 01. 26.

Markov Chains and Monte Carlo Methods참고 문헌 49인용 수 9

한 줄 요약

이 논문은 근사 베이지안 계산(ABC) 방법이 충분한 요약 통계량을 사용하지 않아 베이즈 요약 통계량을 근사하기 때문에, 무한한 계산을 해도 일관되지 않은 사후 확률을 초래하므로 신뢰할 수 없이 베이지안 모형 선택을 수행할 수 없다는 것을 보여준다. 핵심 결과는 요약 통계량이 충분하지 않은 경우 ABC 기반의 모형 선택이 진정한 사후 모형 확률에 수렴하지 않아, 일반적인 설정에서 ABC는 모형 비교에 부적합하다는 것이다.

ABSTRACT

Approximate Bayesian computation (ABC), also known as likelihood-free methods, have become a favourite tool for the analysis of complex stochastic models, primarily in population genetics but also in financial analyses. We advocated in Grelaud et al. (2009) the use of ABC for Bayesian model choice in the specific case of Gibbs random fields (GRF), relying on a sufficiency property mainly enjoyed by GRFs to show that the approach was legitimate. Despite having previously suggested the use of ABC for model choice in a wider range of models in the DIY ABC software (Cornuet et al., 2008), we present theoretical evidence that the general use of ABC for model choice is fraught with danger in the sense that no amount of computation, however large, can guarantee a proper approximation of the posterior probabilities of the models under comparison.

연구 동기 및 목표

• 복잡한 확률 모형에서 ABC를 사용한 베이지안 모형 선택의 이론적 타당성을 조사하기 위해.
• 무한한 계산 자원이 있음에도 불구하고 ABC 기반 모형 선택이 근본적으로 잘못될 수 있는 이유를 규명하기 위해.
• 요약 통계량이 부족할 경우 ABC가 베이즈 요약 통계량을 근사할 때 진정한 사후 모형 확률에 수렴하지 않는다는 것을 보여주기 위해.
• 요약 통계량이 충분하지 않은 상황에서 ABC를 모형 비교에 의존하지 말 것을 연구 공동체에 경고하기 위해.
• 완전한 우도가 계산이 불가능한 상황이지만 모형 선택이 여전히 중요한 설정에서 ABC의 한계를 부각하기 위해.

제안 방법

• 두 모형이 분산에서 다름을 보이는 정규 위치 모형에서 ABC의 행동을 이론적으로 분석하기 위해.
• 공액 사전을 사용할 때 정확한 주변 우도와 베이즈 요약 통계량을 유도하여 ABC 근사와 비교하기 위해.
• 충분한 통계량(표본 평균)과 부족한 통계량(표본 분산)을 사용하여 ABC 성능을 대조하기 위해.
• 표본 크기가 증가함에 따라 동일한 요약 통계량과 허용 오차 수준을 사용하더라도 ABC 근사 베이즈 요약 통계량이 진짜 베이즈 요약 통계량에 수렴하지 않는다는 것을 증명하기 위해.
• 다양한 데이터셋에서 ABC 추정 사후 오즈와 진짜 사후 오즈 사이의 격차 비율을 시뮬레이션 기반으로 평가하기 위해.
• 실제 사례 적용: 요약 통계량을 사용한 인구 유전학에서의 ABC 모형 선택에 이 토대를 적용하기 위해.

실험 결과

연구 질문

• RQ1 ABC는 복잡한 모형에서 모형 선택을 위한 사후 모형 확률을 신뢰성 있게 근사할 수 있는가?
• RQ2 ABC는 모형 비교에서 어떤 조건에서 진짜 베이즈 요약 통계량에 수렴하지 못하는가?
• RQ3 부족한 요약 통계량을 사용할 경우 ABC 기반 모형 선택의 일관성에 어떤 영향을 미치는가?
• RQ4 요약 통계량이 충분하지 않은 상황에서 ABC 기반 베이즈 요약 통계량을 모형 선택에 이론적으로 정당화할 수 있는가?
• RQ5 ABC의 일관성 없음이 인구 유전학에서 널리 사용되는 소프트웨어(DIYABC, PopABC)에 어떤 영향을 미치는가?

주요 결과

• 요약 통계량이 충분하지 않은 경우 ABC 기반 모형 선택은 근본적으로 일관성이 없으며, ABC 근사 베이즈 요약 통계량이 진짜 사후 오즈에 수렴하지 않는다.
• 무한한 계산을 해도 요약 통계량이 부족할 경우 진짜 모형 사후 확률을 복원하지 못한다.
• 다른 분산을 가진 정규 모형에서, 표본 크기가 증가함에 따라 ABC 근사 베이즈 요약 통계량은 진짜 모형에 관계없이 항상 1로 수렴한다. 이는 체계적인 실패를 의미한다.
• 시뮬레이션 결과에 따르면, 진짜 값과 ABC 근사 값 사이의 격차는 심각하고 지속적이며, 중간 크기의 표본(예: n=15)에서도 두드러진다.
• 모형 비교가 요약 통계량이 포괄하지 못하는 고차 모멘트에 의존하는 경우, 충분한 통계량(표본 평균)을 사용하더라도 일관성 문제가 해결되지 않는다.
• 논문은 요약 통계량이 충분하지 않은 한 일반적으로 ABC는 모형 선택에 타당한 방법이 아니며, 실무에서 비판 없이 사용하는 것을 경고한다.