[논문 리뷰] Lack of confidence in ABC model choice

Christian P. Robert, Jean‐Marie Cornuet외 2명|2011. 02. 22.

Bayesian Methods and Mixture Models참고 문헌 49인용 수 31

한 줄 요약

이 논문은 모델 선택에 대한 근사 베이지안 계산(ABC)의 신뢰성에 도전하며, 충분하지 않은 요약 통계량을 사용할 경우 무한한 데이터와 계산 자원이 있음에도 불구하고 일관성 없는 모델 선택이 발생할 수 있음을 보여준다. ABC 기반 베이즈 요약 통계량은 성능을 실증적으로 평가하지 않으면 신뢰할 수 없다고 주장하며, DIY-ABC에서 구현된 몬테카를로 기반의 오류율 평가를 통한 탐색적 사용을 권장한다.

ABSTRACT

Approximate Bayesian computation (ABC) have become a essential tool for the analysis of complex stochastic models. Earlier, Grelaud et al. (2009) advocated the use of ABC for Bayesian model choice in the specific case of Gibbs random fields, relying on a inter-model sufficiency property to show that the approximation was legitimate. Having implemented ABC-based model choice in a wide range of phylogenetic models in the DIY-ABC software (Cornuet et al., 2008), we now present theoretical background as to why a generic use of ABC for model choice is ungrounded, since it depends on an unknown amount of information loss induced by the use of insufficient summary statistics. The approximation error of the posterior probabilities of the models under comparison may thus be unrelated with the computational effort spent in running an ABC algorithm. We then conclude that additional empirical verifications of the performances of the ABC procedure as those available in DIYABC are necessary to conduct model choice.

연구 동기 및 목표

• 충분하지 않은 요약 통계량을 사용할 경우 ABC의 이론적 및 실용적 타당성을 베이지안 모델 선택에 대해 조사한다.
• 무한한 데이터와 계산 자원이 있음에도 불구하고 정보 손실로 인해 ABC 모델 선택이 일관성 없을 수 있음을 입증한다.
• 성능을 실증적으로 평가하지 않으면 ABC 기반 베이즈 요약 통계량은 신뢰할 수 없다고 주장한다.
• ABC를 모델 선택에 사용할 때는 최종 추론 방법이 아니라 탐색적 도구로 활용할 것을 주장한다.
• ABC 모델 선택의 신뢰성을 평가하기 위해 몬테카를로 기반의 잘못 할당 비율 평가가 반드시 필요하다고 강조한다.

제안 방법

• 저자는 중요도 샘플링(IS)보다 더 신뢰할 수 있는 방법으로 간주되는 방법과 비교하기 위해 시뮬레이션 기반 접근법을 사용하여 ABC의 사후 모델 확률 근사치를 평가한다.
• 간단하고 복잡한 인구 유전 모델을 대상으로 요약 통계량의 수를 다양하게 설정하여(24개 대비 15개) ABC 성능을 평가한다.
• ABC 알고리즘은 허용 오차 기준 ε, 거리 측도 ρ, 요약 통계량 η를 사용하여 관측된 데이터에 가까운 매개변수 시뮬레이션을 수락한다.
• ABC 사후 확률과 IS 기반 추정치를 비교하여 근사 정확도와 일관성 여부를 평가한다.
• 실증적 검증은 DIY-ABC 소프트웨어를 통해 수행되며, 몬테카를로 시뮬레이션을 통해 잘못 할당 비율을 계산한다.
• 이론적 근거는 요약 통계량의 부족성으로 인한 모델 선택의 잠재적 불일관성에 기반한다.

실험 결과

연구 질문

• RQ1 충분하지 않은 요약 통계량을 사용할 경우 ABC 모델 선택을 이론적으로 정당화할 수 있는가?
• RQ2 충분하지 않은 통계량으로 인한 정보 손실이 ABC 기반 모델 선택의 일관성에 어떤 영향을 미치는가?
• RQ3 실제 인구 유전 모델에서 ABC 사후 확률은 중요도 샘플링 결과와 어떻게 비교되는가?
• RQ4 실증적 검증 없이 ABC 기반 베이즈 요약 통계량을 모델 선택에 얼마나 신뢰할 수 있는가?
• RQ5 잘못 할당 비율의 몬테카를로 평가가 ABC 모델 선택의 신뢰성 평가에 어떤 역할을 하는가?

주요 결과

• 첫 번째 실험에서 24개의 요약 통계량을 사용한 ABC는 중요도 샘플링 결과와 매우 높은 상관관계(r = 0.997)를 보였으며, 이는 강한 일치를 의미한다.
• 15개의 요약 통계량으로 줄였을 경우 상관관계는 0.948로 떨어졌고, ABC와 IS 간의 모델 선택 결정이 12%에서 서로 반대가 되었으며, 이는 일관성의 감소를 시사한다.
• 더 복잡한 두 번째 실험에서는 ABC와 IS 추정치 간 상관계수는 0.643으로 떨어졌고, 26%의 결정에서 일관성이 없었으며, 성능 저하가 심각하게 나타났다.
• 무한한 데이터와 계산 자원이 있음에도 불구하고, 충분하지 않은 통계량을 사용할 경우 ABC 모델 선택은 참값을 회복하지 못할 수 있으며, 이는 불일관성을 보여준다.
• DIY-ABC 소프트웨어의 잘못 할당 비율 평가 결과, 두 실험에서 각각 20%와 14.5%의 오류율이 보고되었으며, 실증적 검증의 필요성을 확인한다.
• 저자는 ABC 모델 선택이 최종 추론 방법이 아니라 탐색적 도구로 간주되어야 하며, 성능은 잘못 할당 비율의 몬테카를로 시뮬레이션을 통해 평가되어야 한다고 결론 내린다.