[論文レビュー] Fast MCMC sampling for Markov jump processes and extensions

Vinayak Rao, Yee Whye Teh|arXiv (Cornell University)|Aug 23, 2012

Markov Chains and Monte Carlo Methods参考文献 33被引用数 98

ひとこと要約

本稿では、均一化に基づく補助変数を用いた、連続時間マルコフ跳躍過程（MJP）における後方推論の正確で効率的なギブスサンプラーを提案する。時間離散化や行列指数関数の計算を回避するため、前方フィルタリング・バックワードサンプリング（FFBS）を用いて仮想のジャンプ時刻を交互にサンプリングし、経路を再サンプリングすることで、MJP、マーカブ・モードポアソン過程、連続時間ベイジアンネットワークの分野において、最先端の手法に比べ顕著な計算上の利点を達成する正確な推論を可能にする。

ABSTRACT

Markov jump processes (or continuous-time Markov chains) are a simple and important class of continuous-time dynamical systems. In this paper, we tackle the problem of simulating from the posterior distribution over paths in these models, given partial and noisy observations. Our approach is an auxiliary variable Gibbs sampler, and is based on the idea of uniformization. This sets up a Markov chain over paths by alternately sampling a finite set of virtual jump times given the current path and then sampling a new path given the set of extant and virtual jump times using a standard hidden Markov model forward filtering-backward sampling algorithm. Our method is exact and does not involve approximations like time-discretization. We demonstrate how our sampler extends naturally to MJP-based models like Markov-modulated Poisson processes and continuous-time Bayesian networks and show significant computational benefits over state-of-the-art MCMC samplers for these models.

研究の動機と目的

• 観測がノイズを含み部分的にしか得られない状況下で、MJPの経路に関する後方推論の正確なMCMCサンプラーの開発。
• 時間離散化や行列指数関数の近似を回避し、計算コストが高くまたはバイアスを生じる可能性がある手法を避けること。
• MJPに加え、マーカブ・モードポアソン過程や連続時間ベイジアンネットワークといった複雑なモデルへも効率的に拡張可能なサンプラーの設計。
• 観測依存性と補助変数の分布を分離することで、サンプリングを簡素化する補助変数の利用法の設計。
• MJPベースのモデルに用いられる既存のMCMCサンプラーと比較して顕著な計算速度の向上を達成すること。

提案手法

• 支配的ポアソン過程を構築するため、均一化を用い、レート Ω ≥ max_i q_ii を満たす。これにより、ジャンプ時刻の正確なシミュレーションが可能になる。
• 潜在変数として仮想のジャンプ時刻を導入し、現在の経路に条件づけて、区分的定数の非定常ポアソン過程を用いてサンプリングする。
• 実際のジャンプ時刻と仮想のジャンプ時刻を組み合わせた離散時間隠れマルコフモデルを構築し、前方フィルタリング・バックワードサンプリング（FFBS）アルゴリズムを用いて経路を再サンプリングする。
• ギブスサンプラーは、(1) 現在の経路に条件づいて仮想のジャンプ時刻をサンプリングする、および (2) 実際のジャンプ時刻と仮想のジャンプ時刻の集合に条件づいて全経路を再サンプリングする、の交互に実行する。
• 前方パスではフィルタリング分布 α^t(s) = p(O^0,…,O^{t-1}, S^t = s) を計算し、後方パスでは p(S_t = s | S_{t+1} = s', O) ∝ α^t(s) B^t_{s's} L^t(s) に従って S_t をサンプリングする。
• Ω を軌道依存の確率変数として扱うことで、無限大のレートを有するMJPへの拡張を可能とし、さらに均一化の一般化により、半マルコフ過程へも拡張する。

実験結果

リサーチクエスチョン

• RQ1 時間離散化や行列指数関数の計算を伴わず、連続時間マルコフ跳躍過程における後方推論の正確なMCMCサンプラーを設計可能か？
• RQ2 観測尤度と補助変数の分布を分離することで、効率的なサンプリングを可能にする補助変数の利用法は何か？
• RQ3 提案手法は、マーカブ・モードポアソン過程や連続時間ベイジアンネットワークといったより複雑なモデルへも効率的に拡張可能か？
• RQ4 既存のMJPベースのモデルにおける最先端のサンプラーと比較して、本手法の計算的利点および混合性能（mixing）の優位性は何か？
• RQ5 本手法は、非定常MJP、半マルコフ過程、あるいは無限状態MJPへ一般化可能か？

主な発見

• 提案されたMCMCサンプラーは、時間離散化や行列指数関数の計算を一切行わず、真の後方分布への収束を保証する、MJP経路に関する正確な後方推論を達成する。
• 標準的なMJPおよびMMPPやCTBNといった拡張モデルにおいて、最先端のサンプラーと比較して顕著な計算効率の向上を示す。
• 均一化を用いた補助変数の導入により、観測とは無関係に取り扱える仮想ジャンプ時刻の分布が得られ、サンプリングプロセスの簡素化が可能になる。
• 前方フィルタリング・バックワードサンプリングステップにより、ジャンプ時刻が与えられたもとでの全経路の効率的再サンプリングが可能となり、正確性とスケーラビリティを両立する。
• 実験では、遷移レートのばらつきが大きいモデルに対しても本手法が良好にスケーリングすることを示しており、支配的レート Ω のチューニングが実用的課題であると判明している。
• 本フレームワークは、非定常MJP、半マルコフ過程、無限状態MJPへ自然に拡張可能であり、混合性能を向上させるためにΩの適応的チューニングの可能性も示唆されている。