[논문 리뷰] On embedded hidden Markov models and particle Markov chain Monte Carlo methods

Axel Finke, Randal Douc외 1명|arXiv (Cornell University)|2016. 10. 27.

Markov Chains and Monte Carlo Methods참고 문헌 19인용 수 8

한 줄 요약

이 논문은 임bedded hidden Markov models (EHMM)와 particle Markov chain Monte Carlo (PMCMC) 방법 간의 공식적인 연결을 수립하며, 둘 다 일반적인 PMCMC 프레임워크 아래 통합될 수 있음을 보여준다. 새로운 입자 필터 유형의 알고리즘과 MCMC 기반의 상태 및 매개변수 추론 방법을 제안하며, 국소 Metropolis-Hastings 이동을 조정한 조건부 입자 필터가 고차원 상태공간 모델에서 표준 필터보다 훨씬 뛰어난 성능을 보임을 입증한다.

ABSTRACT

The embedded hidden Markov model (EHMM) sampling method is a Markov chain Monte Carlo (MCMC) technique for state inference in non-linear non-Gaussian state-space models which was proposed in Neal (2003); Neal et al. (2004) and extended in Shestopaloff and Neal (2016). An extension to Bayesian parameter inference was presented in Shestopaloff and Neal (2013). An alternative class of MCMC schemes addressing similar inference problems is provided by particle MCMC (PMCMC) methods (Andrieu et al. 2009; 2010). All these methods rely on the introduction of artificial extended target distributions for multiple state sequences which, by construction, are such that one randomly indexed sequence is distributed according to the posterior of interest. By adapting the Metropolis-Hastings algorithms developed in the framework of PMCMC methods to the EHMM framework, we obtain novel particle filter (PF)-type algorithms for state inference and novel MCMC schemes for parameter and state inference. In addition, we show that most of these algorithms can be viewed as particular cases of a general PF and PMCMC framework. We compare the empirical performance of the various algorithms on low- to high-dimensional state-space models. We demonstrate that a properly tuned conditional PF with "local" MCMC moves proposed in Shestopaloff and Neal (2016) can outperform the standard conditional PF significantly when applied to high-dimensional state-space models while the novel PF-type algorithm could prove to be an interesting alternative to standard PFs for likelihood estimation in some lower-dimensional scenarios.

연구 동기 및 목표

• 비선형, 비정규 상태공간 모델에서 베이지안 추론을 위한 EHMM와 PMCMC 방법 간의 관계를 공식화하기.
• PMCMC 기법을 EHMM 프레임워크에 적응시켜 새로운 입자 필터 및 MCMC 알고리즘을 개발하기.
• EHMM와 PMCMC 방법이 더 넓은 통합된 PMCMC 프레임워크의 특수한 경우임을 보여주기.
• 제안된 알고리즘의 경험적 성능을 저차원 및 고차원 상태공간 모델에서 평가하기.
• 국소적으로 조정된 조건부 입자 필터가 고차원 설정에서 표준 필터보다 뛰어난 성능을 보일 수 있음을 보여주기.

제안 방법

• EHMM와 PMCMC 방법을 통합하는 일반적인 확장된 표본 분포를 유도한다.
• PMCMC Metropolis-Hastings 알고리즘의 적응을 통해 EHMM 프레임워크에 새로운 MCMC 및 입자 필터 유형의 알고리즘을 도입한다.
• 일반화된 PMCMC 프레임워크 내에서 후행 샘플링과 조상 샘플링을 도입한다.
• Shestopaloff와 Neal (2016)에서 제안한 조건부 입자 필터에 국소 MH 이동을 적용하여 고차원 모델에서 혼합 성능을 향상시킨다.
• 입자 마진형 메트로폴리스-해스팅스(PMMH)와 입자 지브스(PG) 샘플러를 통합 프레임워크의 기초 구성 요소로 사용한다.
• 후행 샘플링과 조상 리샘플링을 활용하여 입자 기반 MCMC 기법의 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 EHMM와 PMCMC 방법은 단일 일반화된 PMCMC 프레임워크 아래 공식적으로 통합될 수 있는가?
• RQ2 고차원 상태공간 모델에서 EHMM와 PMCMC 알고리즘의 성능 특성은 어떻게 비교되는가?
• RQ3 조건부 입자 필터에서 국소 Metropolis-Hastings 이동이 고차원에서 혼합 성능을 향상시키고 가중치 붕괴를 줄이는 데 상당한 영향을 미칠 수 있는가?
• RQ4 이 통합 프레임워크 내에서 입자 기반 MCMC 알고리즘의 효율성을 향상시키는 데 후행 샘플링과 조상 샘플링의 역할은 무엇인가?
• RQ5 이 프레임워크에서 유도된 새로운 입자 필터 알고리즘이 저차원 모델에서 우도 추정을 위한 표준 PF의 효과적인 대안이 될 수 있는가?

주요 결과

• 국소 Metropolis-Hastings 이동을 적절히 조정한 조건부 입자 필터는 고차원 상태공간 모델에서 표준 조건부 입자 필터보다 우수한 성능을 보이며, 가중치 붕괴를 상당히 감소시킨다.
• 국소 이동을 사용하는 MCMC 입자 필터의 경험적 유효 표본 크기(ESS)는 표준 필터보다 훨씬 높았으며, 이는 더 나은 혼합 성능과 낮은 자기상관을 의미한다.
• 국소 이동 기반의 MH 커널에서의 수용률은 1 미만이었으며, 이는 i.i.d.가 아닌 제안 분포를 의미하며, 표준 필터와 달리 더 나은 탐색을 가능하게 했다.
• 표준 부트스트랩 입자 필터를 기반으로 한 지브스 샘플러는 사후 분포의 지원을 충분히 탐색하지 못하여 경험적 자기상관이 낮고 혼합 성능이 열악했다.
• 커널 밀도 추정치에 따르면, 표준 PF를 사용한 PG 샘플러는 고정된 반복 수 내에서 수렴하지 못했으며, 이는 열악한 혼합 성능을 시사한다.
• 제안된 프레임워크는 EHMM와 PMCMC 방법을 성공적으로 통합하였으며, 단일 이론적 구조 아래에서 양쪽 유형에 대해 후행 샘플링과 조상 샘플링을 가능하게 하였다.