[논문 리뷰] Optimizing Threshold - Schedules for Approximate Bayesian Computation Sequential Monte Carlo Samplers: Applications to Molecular Systems

Daniel Silk, Saran Filippi외 1명|arXiv (Cornell University)|2012. 10. 11.

Markov Chains and Monte Carlo Methods참고 문헌 27인용 수 7

한 줄 요약

이 논문은 근사 베이지안 계산 순차 몬테카를로(ABC SMC) 샘플러에서 임계값 스케줄을 최적화하기 위해 적응형, 무시행성 변환 기반 방법을 제안한다. 이는 계산 효율성을 향상시키고 局소 최적해에 갇히는 것을 방지한다. 임계값-수용률 곡선을 예측함으로써, 고정된 분위수 스케줄보다 더 정확한 사후 분포 근사치를 얻을 수 있으며, 테스트 케이스 전반에서 실패 없이, 계산 비용의 변동성이 낮다.

ABSTRACT

The likelihood-free sequential Approximate Bayesian Computation (ABC) algorithms, are increasingly popular inference tools for complex biological models. Such algorithms proceed by constructing a succession of probability distributions over the parameter space conditional upon the simulated data lying in an $ε$--ball around the observed data, for decreasing values of the threshold $ε$. While in theory, the distributions (starting from a suitably defined prior) will converge towards the unknown posterior as $ε$ tends to zero, the exact sequence of thresholds can impact upon the computational efficiency and success of a particular application. In particular, we show here that the current preferred method of choosing thresholds as a pre-determined quantile of the distances between simulated and observed data from the previous population, can lead to the inferred posterior distribution being very different to the true posterior. Threshold selection thus remains an important challenge. Here we propose an automated and adaptive method that allows us to balance the need to minimise the threshold with computational efficiency. Moreover, our method which centres around predicting the threshold - acceptance rate curve using the unscented transform, enables us to avoid local minima - a problem that has plagued previous threshold schemes.

연구 동기 및 목표

• ABC SMC 샘플러에서 임계값 선택이 비최적일 경우 발생하는 편향된 사후 분포와 계산 비효율성 문제를 해결하기 위해.
• 종종 局소 최적해에 갇히거나 수용률이 낮아지는 고정된 분위수 기반 임계값 스케줄의 한계를 극복하기 위해.
• 임계값 ε를 최소화하면서도 계산 효율성을 유지하는 자동화된 적응형 방법을 개발하기 위해.
• 우도가 추정 불가능한 복잡한 생물학적 모델에서 기존 방법이 실패하는 상황에서도 견고한 추론을 가능하게 하기 위해.

제안 방법

• 이 방법은 임계값 ε의 다양한 값에서의 임계값-수용률 곡선의 형태를 예측하기 위해 무시행성 변환(UT)을 사용한다. 이를 통해 정보 기반의 임계값 선택이 가능해진다.
• 모의와 관측 데이터 간의 거리 분포를 가우시안 혼합 모델로 모델링하고, 이를 무시행성 변환을 통해 수용률을 추정한다.
• ε를 최소화하면서도 높은 수용률을 유지하는 데 최적의 균형을 이루는 임계값을 선택하며, 조기 수렴을 방지한다.
• 이 방법은 탐욕적 접근을 취하여 다음 단계의 임계값만 선택하지만, 예측 모델링을 통해 분위수 기반 방법에서 흔히 발생하는 局소 최적해를 피한다.
• ABC SMC 프레임워크에 통합되어, 고정된 분위수 대신 예측된 성능 기반으로 동적으로 임계값을 조정한다.
• 결정론적 모델에 대해 가우시안 측정 오차를 가정할 수 있으며, 적절한 요약 통계량을 통해 확률적 상태공간 모델로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 다양한 임계값 스케줄, 특히 고정된 분위수 기반 접근 방식에서 ABC SMC의 성능는 어떻게 달라지나?
• RQ2 적응형 임계값 선택 방법이 ABC SMC에서 사후 근사 정확도와 계산 효율성을 향상시킬 수 있는가?
• RQ3 무시행성 변환은 임계값-수용률 곡선을 얼마나 정확히 예측할 수 있으며, 이를 통해 최적의 임계값 선택에 얼마나 기여하는가?
• RQ4 제안된 방법은 일반적으로 고정된 분위수 기반 임계값 체계가 갇히는 局소 최적해를 피할 수 있는가?
• RQ5 다양한 생물학적 시스템, 특히 복잡한 우도 형태를 가진 시스템에서 이 방법은 견고성과 계산 비용 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 적응형 방법은 모든 고정된 분위수 스케줄보다 계산 효율성과 성공률 측면에서 뛰어나며, 반복 추론 전반에서 실패가 없었다.
• Hopf 분기 시스템의 경우, 각 데이터셋에 대해 10회의 추론 전부에서 수렴을 달성했으나, 0.9 분위수 스케줄은 500개의 데이터 포인트에서 매번 실패했다.
• 이 방법은 다양한 데이터셋 간 계산 비용의 변동성이 가장 낮아, 데이터 복잡도 변화에 관계없이 일관된 성능을 보였다.
• 고분위수(예: 0.9)를 사용한 고정된 분위수 스케줄은 종종 입자 집단을 낮은 사후확률 영역(예: (0,3) 간격)에 갇히게 하여 실패했다.
• 매우 낮은 분위수(예: 0.01)를 사용한 스케줄은 과도하게 낮은 수용률을 초래하여 추론을 계산적으로 불가능하게 만들었다.
• 이 방법이 임계값-수용률 곡선을 예측할 수 있었기에, 局소 최적해를 피하고 정확도와 효율성을 효과적으로 균형 잡은 임계값을 선택할 수 있었다.