[논문 리뷰] On the Asymptotic Efficiency of Approximate Bayesian Computation Estimators

Wentao Li, Paul Fearnhead|arXiv (Cornell University)|2015. 06. 10.

Markov Chains and Monte Carlo Methods참고 문헌 47인용 수 8

한 줄 요약

이 논문은 대용량 표본 설정 하에서 Approximate Bayesian Computation (ABC)의 사후 평균의 점근적 정규성을 확립하며, 점근적 분산이 매개변수 벡터의 차원과 동일한 차원을 갖는 요약 통계량을 사용할 때 최소화됨을 보여준다. 또한 고차원 요약 통계량은 분산을 증가시키지 않고도 차원 p로 선형으로 감소시킬 수 있음을 보이며, 중요도 표본추출이 요약 통계량 기반 최대우도推定기와 동일한 점근적 분산을 달성할 조건을 제시한다.

ABSTRACT

Many statistical applications involve models for which it is difficult to evaluate the likelihood, but from which it is relatively easy to sample. Approximate Bayesian computation is a likelihood-free method for implementing Bayesian inference in such cases. We present results on the asymptotic variance of estimators obtained using approximate Bayesian computation in a large-data limit. Our key assumption is that the data are summarized by a fixed-dimensional summary statistic that obeys a central limit theorem. We prove asymptotic normality of the mean of the approximate Bayesian computation posterior. This result also shows that, in terms of asymptotic variance, we should use a summary statistic that is the same dimension as the parameter vector, p; and that any summary statistic of higher dimension can be reduced, through a linear transformation, to dimension p in a way that can only reduce the asymptotic variance of the posterior mean. We look at how the Monte Carlo error of an importance sampling algorithm that samples from the approximate Bayesian computation posterior affects the accuracy of estimators. We give conditions on the importance sampling proposal distribution such that the variance of the estimator will be the same order as that of the maximum likelihood estimator based on the summary statistics used. This suggests an iterative importance sampling algorithm, which we evaluate empirically on a stochastic volatility model.

연구 동기 및 목표

• 대용량 데이터 설정 하에서 ABC 사후 평균의 점근적 분포를 확립하기 위해.
• ABC에서 점근적 분산을 최소화하기 위한 요약 통계량의 최적 차원을 결정하기 위해.
• 중요도 표본추출에서 발생하는 몬테카를로 오차가 ABC 추정기 정확도에 미치는 영향을 분석하기 위해.
• 중요도 표본추출이 요약 통계량 기반 최대우도推정기와 동일한 점근적 분산을 달성할 조건을 유도하기 위해.
• ABC 추론에서 효율성을 향상시키기 위한 반복적 중요도 표본추출 알고리즘을 제안하기 위해.

제안 방법

• 저자들은 요약 통계량이 중심극한정리 조건을 만족한다고 가정할 때, ABC 사후 평균의 점근적 분포를 유도한다.
• 그들은 사후 평균의 점근적 분산이 매개변수의 수 p와 동일한 차원을 갖는 요약 통계량일 때 최소화됨을 증명한다.
• 논문은 임의의 고차원 요약 통계량이 분산을 증가시키지 않고도 차원 p로 선형 변환될 수 있음을 보여준다.
• 중요도 표본추출에서의 몬테카를로 오차를 분석하고, 추정기의 점근적 분산이 요약 통계량 기반 최대우도推정기와 일치하도록 보장하기 위한 제안 분포에 대한 조건을 도출한다.
• 반복적 중요도 표본추출 알고리즘을 제안하고, 확률적 변동성 모델에서 실증적으로 평가한다.
• 이론적 결과는 커널 밀도 근사, 변수 변환, 농도 부등식을 포함한 일련의 보조정리와 점근적 추론에 의해 뒷받침된다.

실험 결과

연구 질문

• RQ1 대용량 표본 설정 하에서 ABC 사후 평균의 점근적 분포는 무엇인가?
• RQ2 요약 통계량의 차원은 ABC 추정기의 점근적 분산에 어떤 영향을 미치는가?
• RQ3 고차원 요약 통계량은 효율성을 잃지 않고 차원 p로 감소시킬 수 있는가?
• RQ4 중요도 표본추출이 요약 통계량 기반 최대우도推정기와 동일한 점근적 분산을 달성할 조건은 무엇인가?
• RQ5 ABC에서 MLE의 효율성을 재현할 수 있는 반복적 중요도 표본추출 알고리즘을 설계할 수 있는가?

주요 결과

• 대용량 표본 설정 하에서 ABC 사후 평균은 점근적으로 정규분포를 따른다.
• ABC 사후 평균의 점근적 분산은 요약 통계량의 차원이 매개변수 벡터의 차원 p와 동일할 때 최소화된다.
• p를 초과하는 차원을 갖는 임의의 요약 통계량은 분산을 증가시키지 않고도 차원 p로 선형 변환될 수 있다.
• 중요도 표본추출의 제안 분포가 일정한 정규성 조건을 만족할 경우, ABC 추정기의 점근적 분산은 요약 통계량 기반 최대우도推정기의 분산과 일치한다.
• 논문에서 제안한 반복적 중요도 표본추출 알고리즘은 확률적 변동성 모델 사례에서 MLE와 유사한 분산 성능을 달성한다.
• 이론적 결과는 커널 밀도 근사, 변수 변환, 농도 부등식을 포함한 일련의 점근적 추론에 의해 뒷받침된다.