[论文解读] Fast MCMC sampling for Markov jump processes and extensions

Vinayak Rao, Yee Whye Teh|arXiv (Cornell University)|Aug 23, 2012

Markov Chains and Monte Carlo Methods参考文献 33被引用 98

一句话总结

本文提出了一种基于均匀化辅助变量的精确、高效的吉布斯采样器，用于连续时间马尔可夫跳跃过程（MJPs）的后验推断。通过交替采样虚拟跳跃时间并利用前向-滤波-后向采样（FFBS）重采样路径，该方法避免了时间离散化和矩阵指数运算，实现了与现有最先进方法相比在MJP、马氏调制泊松过程以及连续时间贝叶斯网络方面显著的计算加速，同时保持了精确推断。

ABSTRACT

Markov jump processes (or continuous-time Markov chains) are a simple and important class of continuous-time dynamical systems. In this paper, we tackle the problem of simulating from the posterior distribution over paths in these models, given partial and noisy observations. Our approach is an auxiliary variable Gibbs sampler, and is based on the idea of uniformization. This sets up a Markov chain over paths by alternately sampling a finite set of virtual jump times given the current path and then sampling a new path given the set of extant and virtual jump times using a standard hidden Markov model forward filtering-backward sampling algorithm. Our method is exact and does not involve approximations like time-discretization. We demonstrate how our sampler extends naturally to MJP-based models like Markov-modulated Poisson processes and continuous-time Bayesian networks and show significant computational benefits over state-of-the-art MCMC samplers for these models.

研究动机与目标

• 开发一种针对连续时间马尔可夫跳跃过程路径后验推断的精确MCMC采样器，给定噪声且不完整的观测数据。
• 避免时间离散化或矩阵指数运算等近似方法，这些方法计算成本高或存在偏差。
• 高效地将采样器扩展至复杂模型，如马氏调制泊松过程和连续时间贝叶斯网络。
• 设计一种利用辅助变量的方法，使观测依赖性与辅助变量分布解耦，从而简化采样过程。
• 与现有基于MJP模型的MCMC采样器相比，实现显著的计算加速。

提出的方法

• 该方法使用均匀化构造一个速率为 Ω ≥ max_i q_ii 的主导泊松过程，从而实现跳跃时间的精确模拟。
• 引入虚拟跳跃时间作为隐变量，基于当前路径条件采样，利用分段常数非时齐泊松过程。
• 通过基于真实和虚拟跳跃时间构建的离散时间隐马尔可夫模型，使用前向-滤波-后向采样（FFBS）算法重采样路径。
• 吉布斯采样器交替执行：(1) 给定当前路径，采样虚拟跳跃时间；(2) 给定所有真实与虚拟跳跃时间，重采样完整路径。
• 前向传递计算滤波分布 α^t(s) = p(O^0,…,O^{t-1}, S^t = s)，后向传递从 p(S_t = s | S_{t+1} = s', O) ∝ α^t(s) B^t_{s's} L^t(s) 中采样 S_t。
• 该方法通过将 Ω 视为路径相关随机变量，进一步推广至跳跃速率无界的MJP；并通过均匀化方法的进一步推广，适用于半马尔可夫过程。

实验结果

研究问题

• RQ1 能否设计一种无需时间离散化或矩阵指数运算的精确MCMC采样器，用于连续时间马尔可夫跳跃过程的后验推断？
• RQ2 如何以一种使观测似然与辅助变量分布解耦的方式使用辅助变量，从而实现高效采样？
• RQ3 所提出的方法能否高效扩展至更复杂的模型，如马氏调制泊松过程和连续时间贝叶斯网络？
• RQ4 与现有基于MJP模型的最先进采样器相比，该方法在计算效率和混合性能方面有何优势？
• RQ5 该方法能否推广至非时齐MJP、半马尔可夫过程或无限状态MJP？

主要发现

• 所提出的MCMC采样器在无需时间离散化或矩阵指数运算的情况下，实现了对MJP路径的精确后验推断，确保收敛至真实后验分布。
• 在标准MJP及扩展模型（如MMPP和CTBN）中，该方法在计算效率方面显著优于现有最先进采样器。
• 通过均匀化引入辅助变量，使得虚拟跳跃时间的分布具有可处理性且与观测无关，从而简化了采样过程。
• 前向-滤波-后向采样步骤使得在给定跳跃时间下高效重采样完整路径成为可能，同时保持了精确性和可扩展性。
• 实验表明，该方法在具有广泛差异的转移速率的模型中仍具有良好的可扩展性，尽管调节主导速率 Ω 仍是实际应用中的考虑因素。
• 该框架自然可推广至非时齐MJP、半马尔可夫过程及无限状态MJP，且可通过自适应调节 Ω 提升混合性能。