[논문 리뷰] Fast MCMC sampling for Markov jump processes and extensions

Vinayak Rao, Yee Whye Teh|arXiv (Cornell University)|2012. 08. 23.

Markov Chains and Monte Carlo Methods참고 문헌 33인용 수 98

한 줄 요약

이 논문은 균일화 기반 보조 변수를 사용하여 연속시간 마코프 점프 과정(MJPs)의 사후 추론을 위한 정확하고 효율적인 기브스 샘플러를 제안한다. 가상의 점프 시간을 샘플링하고, 전진-필터링-역행-샘플링(FFBS)을 통해 경로를 재샘플링하는 방식으로 시간 이산화나 행렬 지수 계산을 피함으로써, MJP, 마코프-모odulated 포아송 과정(MMPP), 연속시간 베이지안 네트워크 등에 대해 기존 최고 수준의 방법보다 뛰어난 계산 성능을 보이는 정확한 추론을 가능하게 한다.

ABSTRACT

Markov jump processes (or continuous-time Markov chains) are a simple and important class of continuous-time dynamical systems. In this paper, we tackle the problem of simulating from the posterior distribution over paths in these models, given partial and noisy observations. Our approach is an auxiliary variable Gibbs sampler, and is based on the idea of uniformization. This sets up a Markov chain over paths by alternately sampling a finite set of virtual jump times given the current path and then sampling a new path given the set of extant and virtual jump times using a standard hidden Markov model forward filtering-backward sampling algorithm. Our method is exact and does not involve approximations like time-discretization. We demonstrate how our sampler extends naturally to MJP-based models like Markov-modulated Poisson processes and continuous-time Bayesian networks and show significant computational benefits over state-of-the-art MCMC samplers for these models.

연구 동기 및 목표

• 노이즈가 섞이고 부분적으로 관측된 데이터가 주어졌을 때, 마코프 점프 과정(MJP)의 경로에 대한 정확한 사후 추론을 위한 MCMC 샘플러를 개발하는 것.
• 시간 이산화나 행렬 지수 계산과 같은 근사 기법을 피함으로써 계산 비용이 높거나 편향이 생길 수 있는 문제를 방지하는 것.
• 마코프-모드된 포아송 과정(MMPP)과 연속시간 베이지안 네트워크와 같은 복잡한 모델로 샘플러를 효율적으로 확장하는 것.
• 관측값 의존성과 보조 변수 분포를 분리함으로써 샘플링을 단순화하는 방식으로 보조 변수를 활용하는 방법을 설계하는 것.
• MJP 기반 모델에 대한 기존 MCMC 샘플러에 비해 뚜렷한 계산 속도 향상을 달성하는 것.

제안 방법

• Ω ≥ max_i q_ii 인 도미네이팅 포아송 과정을 균일화를 통해 구성함으로써 점프 시간의 정확한 시뮬레이션을 가능하게 한다.
• 가상의 점프 시간을 잠재 변수로 도입하며, 현재 경로에 조건부로 조각별로 일정하지 않은 포아송 과정을 사용해 이를 샘플링한다.
• 실제 점프 시간과 가상의 점프 시간을 기반으로 이산시간 히든 마코프 모델을 구성하고, 전진-필터링-역행-샘플링(FFBS) 알고리즘을 통해 경로를 재샘플링한다.
• 기브스 샘플러는 다음 두 단계를 번갈아 수행한다: (1) 현재 경로에 조건부로 가상의 점프 시간을 샘플링하고, (2) 실질적 및 가상의 점프 시간 집합에 기반해 전체 경로를 재샘플링한다.
• 전진 단계는 필터링 분포 α^t(s) = p(O^0,…,O^{t-1}, S^t = s)를 계산하고, 역행 단계는 p(S_t = s | S_{t+1} = s', O) ∝ α^t(s) B^t_{s's} L^t(s) 에 따라 S_t 를 샘플링한다.
• 이 방법은 Ω 를 궤적에 따라 변하는 랜덤 변수로 간주함으로써 비유한 속도를 가진 MJP로 확장되며, 균일화의 추가 일반화를 통해 준-마코프 과정으로도 일반화된다.

실험 결과

연구 질문

• RQ1 시간 이산화나 행렬 지수 계산 없이도 연속시간 마코프 점프 과정(MJP)의 사후 추론을 위한 정확한 MCMC 샘플러를 설계할 수 있는가?
• RQ2 관측 가능성이 보조 변수 분포와 분리되어 효율적인 샘플링이 가능하도록 보조 변수를 어떻게 활용할 수 있는가?
• RQ3 제안된 방법은 마코프-모드된 포아송 과정(MMPP)과 연속시간 베이지안 네트워크와 같은 더 복잡한 모델로 효율적으로 확장될 수 있는가?
• RQ4 기존 최고 수준의 MJP 기반 모델 샘플러와 비교해 본 방법의 계산 및 믹싱 성능에서 어떤 이점이 있는가?
• RQ5 이 방법은 비균일한 MJP, 준-마코프 과정, 또는 무한 상태 MJP로 일반화될 수 있는가?

주요 결과

• 제안된 MCMC 샘플러는 시간 이산화나 행렬 지수 계산 없이도 MJP 경로에 대한 정확한 사후 추론을 보장하며, 진정한 사후 분포로 수렴함을 보장한다.
• 표준 MJP와 MMPP, CTBN과 같은 확장된 모델 모두에서 기존 최고 수준의 샘플러에 비해 뚜렷한 계산 효율성 향상을 보였다.
• 균일화를 통한 보조 변수 활용 덕분에 관측값과 무관한 가상의 점프 시간에 대한 다루기 쉬운 분포를 확보할 수 있었고, 이는 샘플링 과정을 단순화시켰다.
• 전진-필터링-역행-샘플링 단계는 점프 시간이 주어졌을 때 전체 경로를 효율적으로 재샘플링할 수 있게 하여 정확성과 확장성을 유지한다.
• 실험 결과, 다양한 전이 비율을 가진 모델에서도 잘 스케일링됨을 확인했지만, 도미네이팅 비율 Ω 를 조정하는 것이 실용적인 고려사항으로 남아 있다.
• 이 프레임워크는 비균일한 MJP, 준-마코프 과정, 무한 상태 MJP로 자연스럽게 확장 가능하며, 혼합성을 향상시키기 위해 Ω 의 적응형 조정이 가능할 잠재력이 있다.