[논문 리뷰] MCMC for non-Linear State Space Models Using Ensembles of Latent Sequences

Alexander Y. Shestopaloff|arXiv (Cornell University)|2014. 01. 01.

Markov Chains and Monte Carlo Methods참고 문헌 7인용 수 10

한 줄 요약

이 논문은 비선형 상태공간 모델에서 베이지안 추론을 위한 효율적인 MCMC 방법을 제안하며, 단일 시퀀스가 아닌 잠재 시퀀스의 앙상블을 활용하여 샘플링 효율을 크게 향상시킨다. 이 방법은 네일의 앙상블 기법과 임bedded HMM을 조합하여, 단일 시퀀스 방법 대비 1.9~12.0배 높은 효율성을 달성하고, Ricker 인구 모델에서 부분 역전파를 적용할 경우 최대 20.4배까지 효율성을 높인다.

ABSTRACT

Non-linear state space models are a widely-used class of models for biological, economic, and physical processes. Fitting these models to observed data is a difficult inference problem that has no straightforward solution. We take a Bayesian approach to the inference of unknown parameters of a non-linear state model; this, in turn, requires the availability of efficient Markov Chain Monte Carlo (MCMC) sampling methods for the latent (hidden) variables and model parameters. Using the ensemble technique of Neal (2010) and the embedded HMM technique of Neal (2003), we introduce a new Markov Chain Monte Carlo method for non-linear state space models. The key idea is to perform parameter updates conditional on an enormously large ensemble of latent sequences, as opposed to a single sequence, as with existing methods. We look at the performance of this ensemble method when doing Bayesian inference in the Ricker model of population dynamics. We show that for this problem, the ensemble method is vastly more efficient than a simple Metropolis method, as well as 1.9 to 12.0 times more efficient than a single-sequence embedded HMM method, when all methods are tuned appropriately. We also introduce a way of speeding up the ensemble method by performing partial backward passes to discard poor proposals at low computational cost, resulting in a final efficiency gain of 3.4 to 20.4 times over the single-sequence method. This research has been done jointly with Radford M. Neal.

연구 동기 및 목표

• 복잡한 잠재 변수 간 의존성으로 인해 간단한 해법이 없는 비선형 상태공간 모델에서의 베이지안 추론 문제를 해결하기 위해.
• 단일 시퀀스 샘플링을 넘어서 앙상블 기반 업데이트로 잠재 변수와 모형 파라미터의 MCMC 효율성을 향상시키기 위해.
• 낮은 비용으로 열악한 제안을 조기에 평가하고 기각하는 부분 역전파를 통해 계산 성능을 향상시키기 위해.
• 실제 비선형 시스템인 인구 역학의 Ricker 모델에 대해 방법의 성능을 평가하기 위해.
• 효율 샘플 크기(Effective Sample Size) 대비 계산 시간 기준으로 앙상블 기반 MCMC가 표준 متر플리스 및 단일 시퀀스 임베디드 HMM 방법보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• 이 방법은 네일의 앙상블 기법을 사용하여 MCMC 샘플링 중에 큰 수의 잠재 시퀀스를 유지함으로써 더 강력한 파라미터 업데이트를 가능하게 한다.
• 비선형 모델에서 잠재 상태 간 전이 확률을 효율적으로 계산하기 위해 네일(2003)의 임베디드 HMM 프레임워크를 통합한다.
• 모든 잠재 시퀀스 앙상블에 조건부로 파라미터 업데이트를 수행함으로써 제안 품질을 향상시키고 무작위 보행 행동을 감소시킨다.
• 낮은 품질의 제안을 조기에 평가하고 기각하는 부분 역전파 메커니즘을 도입하여 불필요한 계산을 줄인다.
• 제안 수락률과 계산 비용을 균형 잡는 최적화를 통해 단위 시간당 효율 샘플 크기를 최적화한다.
• 이 방법은 비선형 인구 역학 모델인 Ricker 모델에 적용된다.

실험 결과

연구 질문

• RQ1 단일 시퀀스 대신 잠재 시퀀스의 앙상블을 사용할 경우, 비선형 상태공간 모델에서 MCMC 샘플링 효율성이 크게 향상되는가?
• RQ2 적절히 튜닝된 경우, 제안된 앙상블 MCMC 방법은 표준 متر플리스 및 단일 시퀀스 임베디드 HMM 방법에 비해 얼마나 더 효율적인가?
• RQ3 부분 역전파가 샘플링 품질을 떨어뜨리지 않고 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 Ricker 모델과 같이 강한 상태 의존성 동역학을 가진 도전적인 비선형 시스템에서 앙상블 방법은 혼합성과 수렴 성질을 유지하거나 향상시키는가?
• RQ5 기존의 단일 시퀀스 접근 방식에 비해 제안된 방법이 달성할 수 있는 최대 효율성 향상은 어느 정도인가?

주요 결과

• Ricker 모델에서 앙상블 MCMC 방법은 튜닝된 단일 시퀀스 임베디드 HMM 방법 대비 1.9~12.0배 높은 효율성을 달성한다.
• 표준 متر플ي스 방법과 비교할 때, 잠재 시퀀스 앙상블에서 유래한 더 나은 제안 품질 덕분에 앙상블 접근 방식은 훨씬 더 효율적이다.
• 부분 역전파를 사용함으로써 계산 비용을 줄이고 효율성을 높였으며, 결과적으로 단일 시퀀스 방법 대비 최종적으로 3.4~20.4배의 효율성 향상을 달성했다.
• Ricker 모델에서 혼합성과 수렴성이 향상되었으며, 강한 상태 의존성 동역학을 가진 비선형 시스템에서 성능이 뛰어나다.
• 고차원 잠재 상태 공간에서도 단위 시간당 높은 효율 샘플 크기를 유지한다.
• 결과적으로 복잡한 비선형 상태공간 모델에서 다수의 잠재 시퀀스를 활용함으로써 MCMC 성능이 크게 향상됨을 확인했다.