[논문 리뷰] Approximate Bayesian Computation for Smoothing

James S. Martin, Ajay Jasra외 3명|arXiv (Cornell University)|2012. 06. 22.

Markov Chains and Monte Carlo Methods참고 문헌 14인용 수 4

한 줄 요약

이 논문은 관측 밀도 $ g(x,y) $ 를 평가하지 않고도 관측 공간에 보조 변수를 도입함으로써 은닉 마르코프 모델(HMMs)에서 스무딩을 위한 근사 베이지안 계산(ABC) 프레임워크를 제안한다. 이 방법은 스무딩 기대값을 $ \mathcal{O}(n\epsilon) $ 오차로 근사하며, ABC와 순차적 몬테카를로(SMC) 근사 오차에 대한 이론적 통제를 가능하게 하여, 존재하지만 계산이 어려운 우도를 가진 모델에 대해 체계적인 추론을 가능하게 한다.

ABSTRACT

We consider a method for approximate inference in hidden Markov models (HMMs). The method circumvents the need to evaluate conditional densities of observations given the hidden states. It may be considered an instance of Approximate Bayesian Computation (ABC) and it involves the introduction of auxiliary variables valued in the same space as the observations. The quality of the approximation may be controlled to arbitrary precision through a parameter ε>0 . We provide theoretical results which quantify, in terms of ε, the ABC error in approximation of expectations of additive functionals with respect to the smoothing distributions. Under regularity assumptions, this error is O(nε), where n is the number of time steps over which smoothing is performed. For numerical implementation we adopt the forward-only sequential Monte Carlo (SMC) scheme of [16] and quantify the combined error from the ABC and SMC approximations. This forms some of the first quantitative results for ABC methods which jointly treat the ABC and simulation errors, with a finite number of data and simulated samples. When the HMM has unknown static parameters, we consider particle Markov chain Monte Carlo [2] (PMCMC) methods for batch statistical inference.

연구 동기 및 목표

• 관측 밀도 $ g(x,y) $ 를 평가하지 않고도 HMM 스무딩을 위한 체계적인 ABC 방법을 개발함으로써, 이는 종종 존재하지 않거나 계산에 비용이 많이 드는 경우가 있음.
• ABC 근사와 순차적 몬테카를로(SMC) 시뮬레이션의 병합 오차를 정량화하여, 두 성분에 대한 이론적 통제를 제공함.
• 정적 파라미터가 알려지지 않은 HMM에 대해 입자 마르코프 체인 몬테카를로(PMCMC) 방법을 사용한 배치 추론을 가능하게 함.
• ABC 오차에 대한 이론적 경계를 스무딩 기대값에 대해 수립하여, ABC 허용 오차 $ \epsilon $ 에 대해 $ \mathcal{O}(n\epsilon) $ 수렴을 보임.
• 정적 파라미터와 잠재 상태의 동시 추론을 위한 프레임워크를 확장하여, 존재하지만 계산이 어려운 우도를 가진 상태공간 모델의 응용을 지원함.

제안 방법

• 진짜 관측값 $ y_n $ 에서 $ \epsilon $-근접 영역에서 추출된 보조 변수 $ \tilde{Y}_n $ 을 가진 보조 HMM을 도입하여, 우도 없이 스무딩을 가능하게 함.
• 직접 $ g(x_n, y_n) $ 를 평가하지 않고도 ABC 스무딩 분포를 근사하기 위해 전진 전용 순차적 몬테카를로(SMC) 기법을 사용함.
• 백워드 커널 $ M_{q,\hat{\eta}_{q-1}} $ 와 $ M_{q,\hat{\eta}_{q-1,\epsilon},\epsilon} $ 을 이용한 백워드 표현을 통해 ABC 오차를 체계적 합으로 분해함.
• 체계적 합 분해를 적용하여 진짜 스무더와 ABC 스무더 간의 차이를 유한한 변동 거리와 백워드 커널의 에르고딕성 성질을 활용해 경계함.
• 논문 [22]의 정리 2와 보조정리 B.1을 활용하여 백워드 커널의 차이를 경계함. 이에 따라 $ \|M_{k+1,\hat{\eta}_{k,\epsilon},\epsilon} - M_{k+1,\hat{\eta}_k}\|_{TV} \leq C\epsilon $ 이며, $ C < \infty $ 이다.
• ABC와 SMC 오차 통제를 분석하여 ABC와 진짜 필터 간의 총 변동 거리의 거리를 분석함으로써, 스무딩 기대값에서의 총 오차가 $ \mathcal{O}(n\epsilon) $ 가 됨을 도출함.

실험 결과

연구 질문

• RQ1 관측 밀도 $ g(x,y) $ 가 존재하지만 계산이 어려운 HMM에서 ABC 스무딩의 이론적 오차 경계는 무엇인가?
• RQ2 스무딩 기대값에서의 ABC 근사 오차는 허용 오차 $ \epsilon $ 과 시간 단계 수 $ n $ 에 따라 어떻게 변화하는가?
• RQ3 유한한 데이터와 유한한 샘플 수에서 ABC와 SMC 근사 오차의 병합 오차를 체계적으로 정량화할 수 있는가?
• RQ4 ABC 스무딩은 HMM에서 정적 파라미터와 잠재 상태의 동시 추론으로 어떻게 확장될 수 있는가?
• RQ5 ABC 오차가 $ \epsilon \to 0 $ 일 때 어떻게 사라지며, 수렴 속도는 어떠한가?

주요 결과

• 스무딩 기대값을 근사할 때의 ABC 오차는 $ \mathcal{O}(n\epsilon) $ 이며, 여기서 $ n $ 은 시간 단계 수이고 $ \epsilon > 0 $ 은 근사 허용 오차를 제어함.
• 이 경계는 $ n $, $ y_{0:n} $, $ \epsilon $ 에 대해 일관되며, 이에 상관없이 일정한 상수 $ C < \infty $ 를 가짐.
• ABC와 진짜 백워드 커널 간의 차이는 $ C\epsilon $ 로 경계되며, 이는 $ \epsilon \to 0 $ 일 때 ABC 근사가 정확해짐을 보장함.
• ABC와 SMC 근사 오차의 병합 오차가 정량화되었으며, 이는 유한한 데이터와 유한한 샘플 수에서 ABC 방법에 대한 이론적 결과 중 일부를 형성함.
• 이 방법은 관측 밀도가 존재하지 않거나 계산 비용이 많이 드는 HMM에서 우도 없이 스무딩과 추론을 가능하게 하며, 전진 전용 SMC와 PMCMC를 활용함.
• 정규성 가정 하에 이론적 결과가 수립되었으며, 이는 유한한 상수 $ C < \infty $ 와 기하급수적 에르고딕성 $ \xi \in (0,1) $ 의 존재를 포함함으로써 오차 기여의 지수 감소를 보장함.