[논문 리뷰] Fast Approximate Bayesian Computation for discretely observed Markov models using a factorised posterior distribution

Simon R. White, Theodore Kypraios외 1명|arXiv (Cornell University)|2013. 01. 14.

Markov Chains and Monte Carlo Methods참고 문헌 27인용 수 5

한 줄 요약

이 논문은 이산적으로 관측된 마르코프 모델에 대해 후행 분포를 조건부 독립 성분으로 인수분해함으로써 요약 통계량 없이 효율적인 ABC 추론이 가능한 조각별 근사 베이지안 계산(PW-ABC) 방법을 제안한다. 각 성분에 대해 별도로 ABC를 적용하고, 가우시안 또는 커널 밀도 추정을 사용함으로써 엄격한 허용 오차를 허용하면서도 표준 ABC에 비해 계산 비용을 크게 낮추고 근사 편향을 감소시킨다.

ABSTRACT

Many modern statistical applications involve inference for complicated stochastic models for which the likelihood function is difficult or even impossible to calculate, and hence conventional likelihood-based inferential echniques cannot be used. In such settings, Bayesian inference can be performed using Approximate Bayesian Computation (ABC). However, in spite of many recent developments to ABC methodology, in many applications the computational cost of ABC necessitates the choice of summary statistics and tolerances that can potentially severely bias the estimate of the posterior. We propose a new "piecewise" ABC approach suitable for discretely observed Markov models that involves writing the posterior density of the parameters as a product of factors, each a function of only a subset of the data, and then using ABC within each factor. The approach has the advantage of side-stepping the need to choose a summary statistic and it enables a stringent tolerance to be set, making the posterior "less approximate". We investigate two methods for estimating the posterior density based on ABC samples for each of the factors: the first is to use a Gaussian approximation for each factor, and the second is to use a kernel density estimate. Both methods have their merits. The Gaussian approximation is simple, fast, and probably adequate for many applications. On the other hand, using instead a kernel density estimate has the benefit of consistently estimating the true ABC posterior as the number of ABC samples tends to infinity. We illustrate the piecewise ABC approach for three examples; in each case, the approach enables "exact matching" between simulations and data and offers fast and accurate inference.

연구 동기 및 목표

• 이산적으로 관측된 마르코프 과정에 대해 표준 근사 베이지안 계산(ABC) 방법의 높은 계산 비용과 편향 문제를 해결하기 위해.
• 기존 ABC의 주요 편향 원인인 요약 통계량과 허용 오차 선택이 필요 없도록 제거하기 위해.
• 후행 분포 인수분해를 통해 작은 허용 오차를 허용함으로써 고정밀도를 유지하면서도 확장 가능한 ABC 프레임워크를 개발하기 위해.
• 조각별 후행 분포의 각 성분을 근사하기 위해 가우시안 근사와 커널 밀도 추정의 성능을 비교하기 위해.
• 실제 세계적 의미를 지닌 다양한 스토케스틱 모델에서 이 방법의 효율성과 정확성을 입증하기 위해.

제안 방법

• 모델의 마르코프 성질을 활용하여 매개변수의 후행 밀도를, 각각 데이터의 부분집합에만 의존하는 항들의 곱으로 분해한다.
• 각 성분에 대해 독립적으로 ABC를 적용하며, 가능도 성분을 모델링하기 위해 가우시안 근사 또는 커널 밀도 추정을 사용한다.
• 각 성분에 대해 사전 확률 표본을 생성하고, 시뮬레이션된 데이터가 관측된 데이터로부터 허용 오차 이내에 들어오는 경우 매개변수 값을 수락한다.
• 각 성분에서의 ABC 표본을 결합하여 공동 후행 분포 근사를 형성하며, 전체 후행 분포는 개별 성분 후행 분포의 곱으로 추정한다.
• 가우시안 근사의 경우, ABC 표본으로부터 유도된 평균과 공분산을 사용하여 다변량 정규 밀도를 추정한다.
• 커널 밀도 방법의 경우, ABC 표본 수가 증가함에 따라 일致적인 밀도 근사를 제공하는 비모수적 커널 추정기를 사용한다.

실험 결과

연구 질문

• RQ1 마르코프 모델에서 후행 분포 인수분해를 통해 ABC의 계산 부담을 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ2 조각별 ABC를 통해 요약 통계량을 제거하면, 히وري스틱 요약 통계량을 사용하는 표준 ABC보다 더 정확한 후행 분포 근사를 제공하는가?
• RQ3 다양한 모델에서 가우시안 근사와 커널 밀도 추정이 조각별 ABC 후행 분포 근사에 대해 어떻게 비교되는가?
• RQ4 조각별 접근법을 사용할 경우 엄격한 허용 오차를 사용해도 금방이 되는 계산 비용이 발생하지 않는가?
• RQ5 조각별 ABC 방법은 복잡한 가능도를 지닌 다양한 스토케스틱 모델에서 확장 가능하고 견고한가?

주요 결과

• 조각별 ABC 방법은 계산 비용이 금방이 되지 않는 매우 작은 허용 오차를 사용할 수 있게 하여 ABC 근사 오차를 크게 감소시킨다.
• 요약 통계량을 회피함으로써 표준 ABC의 주요 편향 원인을 제거하여 더 정확한 후행 분포 추론을 가능하게 한다.
• 각 성분에 대한 커널 밀도 추정 방법은 ABC 표본 수가 증가함에 따라 진짜 조각별 ABC 후행 분포에 일致적인 근사를 제공한다.
• 가우시안 근사 방법은 계산적으로 효율적이며, 가능도 성분이 약간 정규 분포에 가까운 경우 대부분의 응용에 적합하다.
• 이 방법은 에르네펠트 모델, 출생-사망 과정, 전염병 모델, 스토케스틱 변동성 모델 등 네 가지 다양한 모델에 성공적으로 적용되었으며, 각 경우에서 빠르고 정확한 추론을 수행했다.
• 특히 고정밀도 추론이 요구되는 경우, 계산 효율성과 후행 분포 정확성 측면에서 표준 ABC를 능가한다.