[논문 리뷰] Exact ABC using Importance Sampling

Minh Ngoc Tran, Robert Kohn|arXiv (Cornell University)|2015. 01. 01.

Markov Chains and Monte Carlo Methods참고 문헌 8인용 수 4

한 줄 요약

이 논문은 표준 근사 베이지안 계산(ABC)에 내재된 체계적 오차를 제거하기 위해 중요도 표본 추출 기반의 비편향 추정 기법을 활용한 Exact ABC(EABC-IS2)를 제안한다. 이 방법은 추정된 우도에 대한 비편향 추정을 통해 우도의 비편향 추정량을 구성함으로써, 허용 오차를 필요로 하지 않고 진정한 사후 기대값으로의 거의 확실한 수렴을 달성한다. 가우시안 및 이징 모델 사례에서 표본 수가 증가함에 따라 지정된 진값으로의 일致한 수렴이 관찰되었다.

ABSTRACT

Approximate Bayesian Computation (ABC) is a powerful method for carrying out Bayesian inference when the likelihood is computationally intractable. However, a drawback of ABC is that it is an approximate method that induces a systematic error because it is necessary to set a tolerance level to make the computation tractable. The issue of how to optimally set this tolerance level has been the subject of extensive research. This paper proposes an ABC algorithm based on importance sampling that estimates expectations with respect to the "exact" posterior distribution given the observed summary statistics. This overcomes the need to select the tolerance level. By "exact" we mean that there is no systematic error and the Monte Carlo error can be made arbitrarily small by increasing the number of importance samples. We provide a formal justification for the method and study its convergence properties. The method is illustrated in two applications and the empirical results suggest that the proposed ABC based estimators consistently converge to the true values as the number of importance samples increases. Our proposed approach can be applied more generally to any importance sampling problem where an unbiased estimate of the likelihood is required.

연구 동기 및 목표

• 표준 ABC 방법에서 발생하는 허용 오차 ǫ > 0 로 인한 체계적 오차를 해결하기 위해.
• 근사 우도에 의존하지 않고 정확한 사후 분포 p(θ|sobs)에 대한 기대값을 추정하는 방법을 개발하기 위해.
• 비편향 우도 추정 기반의 중요도 표본 추출 추정량에 대한 공식적 정당화 및 수렴 분석을 제공하기 위해.
• 제안된 추정량이 중요도 표본 수가 증가함에 따라 진정한 사후 평균으로 수렴하는 것으로 실험적으로 보여주기 위해.
• 비편향 우도 추정이 필요한 모든 중요도 표본 추출 문제에 적용 가능한 일반화된 접근법을 제공하기 위해.

제안 방법

• Rhee와 Glynn(2013) 및 McLeish(2012)의 편향 제거 프레임워크를 활용하여 감소하는 허용 오차 수준 ǫk에 대한 랜덤화를 통해 우도 p(sobs|θ)의 비편향 추정량을 구성한다.
• p(·|θ)에서 유도된 가짜 데이터 s_i^k ∼ p(·|θ)의 시퀀스를 사용하여 커널 밀도 추정을 통해 ABC 우도 pABC,ǫk(sobs|θ)를 추정한다.
• 비편향 우도 추정량을 활용하여 중요도 표본 추출을 적용함으로써 사후 기대값 E[ϕ(θ)|sobs]를 추정하고, 추정량이 거의 확실히 진값으로 수렴하도록 보장한다.
• P(T ≥ k) > 0 를 만족하는 랜덤 정지 시간 T 를 도입하여 비편향 추정량 bλ = ζ₀ + Σ_{k=1}^T ̟k(ζk − ζk−1) 를 구성한다. 여기서 ̟k = 1/P(T ≥ k).
• 비편향 추정량의 분산이 유한해지는 이론적 조건을 유도하여 추정량의 수렴 성질을 보장한다.
• 제안 분포 gIS(θ) 와 가중치 bw(θ, u) 를 사용하여 중요도 표본 추출 프레임워크 내에서 표본을 재가중함으로써 일致성 및 점근 정규성을 확보한다.

실험 결과

연구 질문

• RQ1 랜덤화 및 편향 제거 기법을 활용하여 비가역 우도에 대한 비편향 추정량을 ABC에서 구성할 수 있는가?
• RQ2 제안된 EABC-IS2 방법이 ABC 추론에서 허용 오차 ǫ > 0 로 인한 체계적 오차를 제거하는가?
• RQ3 비편향 우도 기반의 중요도 표본 추정량이 진정한 사후 기대값으로 거의 확실하게 수렴하는가?
• RQ4 표본 수가 증가함에 따라 EABC-IS2의 성능이 표준 ABC 및 정확한 MCMC에 비해 정확도와 수렴 속도 측면에서 어떻게 비교되는가?
• RQ5 비편향 우도 추정량의 분산이 유한해지는 조건은 무엇이며, 이는 중요도 표본 추정량의 수렴을 보장하는가?

주요 결과

• 이징 모델에서 θ의 사후 평균에 대한 EABC-IS2 추정량은 M = 200,000개의 표본을 사용할 때 0.5099 (0.0001) 으로 수렴하였으며, 1,000,000회 반복을 통해 확보한 정확한 MCMC 추정치 0.5099 와 일치하였다.
• 중요도 표본 수 M 이 증가함에 따라 EABC-IS2 추정량은 항상 진정한 사후 평균으로 수렴하였으며, 체계적 편향 없이 거의 확실한 수렴을 보였다.
• 이징 모델에서 ABC-PMMH는 ǫ = 0.1, 1, 10 일 때 각각 0.5100, 0.5108, 0.5094 의 편향된 추정치를 보였으며, 큰 M 에서도 지속적인 체계적 오차가 존재함을 시사했다.
• 이론적 분석을 통해 커널 및 우도에 대한 규칙성 조건이 만족될 경우 비편향 우도 추정량의 분산이 유한함을 증명하였으며, 이는 중요도 표본 추정량의 수렴을 보장한다.
• 추정량은 점근 정규성을 확보하였으며, √M( Êπ(ϕ) − Eπ(ϕ) ) 이 N(0, σ²ϕ) 으로 분포 수렴함을 확인하여 타당한 추론이 가능함을 입증하였다.
• 이 방법은 비편향 우도 추정이 필요한 모든 중요도 표본 추출 문제에 일반화 가능하며, ABC를 초월해 보다 넓은 범위의 베이지안 계산 환경으로 확장 가능하다.