[论文解读] Efficient parameter sampling for Markov jump processes

Boqian Zhang, Vinayak Rao|arXiv (Cornell University)|Apr 7, 2017

Markov Chains and Monte Carlo Methods参考文献 33被引用 6

一句话总结

本文提出了一种新颖的梅特罗波利斯-黑斯廷斯算法，通过利用均匀化方法和对称化方案，解耦参数与路径之间的依赖关系，实现了连续时间马尔可夫跳跃过程中的高效贝叶斯推断。该方法实现了几何遍历性，在基准模型上的混合性和收敛速度优于吉布斯采样、朴素梅特罗波利斯-黑斯廷斯算法以及粒子MCMC方法。

ABSTRACT

Markov jump processes (MJPs) are continuous-time stochastic processes widely used in a variety of applied disciplines. Inference for MJPs typically proceeds via Markov chain Monte Carlo, the state-of-the-art being a uniformization-based auxiliary variable Gibbs sampler. This was designed for situations where the MJP parameters are known, and Bayesian inference over unknown parameters is typically carried out by incorporating it into a larger Gibbs sampler. This strategy of sampling parameters given path, and path given parameters can result in poor Markov chain mixing. In this work, we propose a simple and elegant algorithm to address this problem. Our scheme brings Metropolis-Hastings approaches for discrete-time hidden Markov models to the continuous-time setting, resulting in a complete and clean recipe for parameter and path inference in MJPs. In our experiments, we demonstrate superior performance over Gibbs sampling, as well as another popular approach, particle MCMC. We also show our sampler inherits geometric mixing from an `ideal' sampler that operates without computational constraints.

研究动机与目标

• 为解决由于潜在路径与未知参数之间强耦合而导致的MCMC推断中混合性差的问题。
• 开发一种比Rao-Teh辅助变量吉布斯采样器更高效的替代方法，后者通过交替采样路径和参数来实现。
• 通过采用以参数为中心的梅特罗波利斯-黑斯廷斯方法，提升MCMC混合性，从而实现更快、更可靠的MJPs贝叶斯推断。
• 证明所提出的采样器在温和条件下可继承自一个理想但计算成本高昂的参考链的几何遍历性。

提出的方法

• 使用均匀化方法生成泊松分布的事件时间网格，实现在参数更新过程中对路径的有效边际化。
• 引入一种对称化方案，消除提议分布对当前参数值的依赖，从而提升提议效率。
• 采用一种梅特罗波利斯-黑斯廷斯更新，目标为参数与潜在路径的联合后验分布，其提议分布基于一个随机泊松网格进行条件化。
• 推导出漂移条件与极小化条件，以证明几何遍历性，表明该采样器可继承自理想参考链的这一性质。
• 将该方法应用于MJPs中的低维参数推断，包括生灭过程、移民-死亡模型以及密码子替换模型。
• 采用有界接受概率和精心构造的提议密度，以确保稳定性与收敛性。

实验结果

研究问题

• RQ1 能否设计一种梅特罗波利斯-黑斯廷斯算法，以实现对马尔可夫跳跃过程中参数与潜在路径的联合推断，且其混合性优于吉布斯采样？
• RQ2 通过对称化提议机制是否能通过将提议与当前参数值解耦来提升MCMC效率？
• RQ3 所提出的采样器能否从一个理想但计算成本高昂的参考采样器中继承几何遍历性？
• RQ4 在收敛性和混合性方面，该方法与现有方法（如粒子MCMC和朴素梅特罗波利斯-黑斯廷斯）相比表现如何？

主要发现

• 所提出的对称化梅特罗波利斯-黑斯廷斯算法在合成数据集和真实世界数据集上，其有效样本量和收敛速度显著优于吉布斯采样。
• 在温和的正则性条件下，该方法实现了几何遍历性，其性质继承自一个理想化但计算上不可行的参考链。
• 在E. coli基因表达数据集上，该采样器表现出比粒子MCMC和朴素MH更快的收敛速度和更稳定的后验估计。
• 与未使用对称化的朴素梅特罗波利斯-黑斯廷斯方法相比，该算法在高维参数空间中表现出更优的混合性。
• 理论分析证实，漂移条件在收缩率δ > 0时成立，当提议分布与目标分布表现良好时，可确保几何遍历性。