[論文レビュー] The stationary distribution of a Markov jump process on a state space glued together from two state spaces at two vertices

Bence Mélykúti, Peter Pfaffelhuber|arXiv (Cornell University)|Jan 24, 2014

Markov Chains and Monte Carlo Methods被引用数 3

ひとこと要約

本稿では、2つの非可約マルコフ連鎖を2つの共有状態で接合して形成される連続時間マーキョフ跳躍過程の定常分布を導出する。接合された状態間の遷移レートは、共有状態間のレートを合算することで統合される。主な貢献は、元の連鎖の定常分布と線形システムの解を用いて、接合連鎖の定常分布を明示的に表現する公式であり、並列型と非並列型の状況で異なる挙動を示し、後者に対しては境界を提示する。

ABSTRACT

We compute the stationary distribution of a continuous-time Markov chain on a finite state space which is constructed by gluing together two irreducible, continuous-time Markov chains by identifying a pair of states of one chain with a pair of states of the other chain and keeping all transition rates from either chain (the rates between the two shared states are summed). The result expresses the stationary distribution of the glued chain in terms of quantities of the two original chains. Some of the required terms are nonstandard but can be computed by solving systems of linear equations using the transition rate matrices of the two original chains. Special emphasis is given to the difference between the parallel case, when the stationary distribution of the glued chain is a multiple of the equilibria of the original chains, and the non-parallel case, for which bounds are derived.

研究の動機と目的

• 2つの非可約連鎖を2つの共有状態で接合して構築された連続時間マーキョフ連鎖の定常分布を特徴づけること。
• 接合連鎖の定常分布を、元の連鎖の定常分布と遷移レート行列を用いて表現すること。
• 並列型（定常分布が元の均衡のスカラー倍となる）と非並列型（レートの非対称性のため、境界が必要となる）の構造的差異を分析すること。

提案手法

• 2つの非可約連続時間マーキョフ連鎖の各々から1つの状態を同一視することで接合連鎖を構築し、共有状態間の遷移レートを合算する。
• 詳細バランス条件と接合状態空間の構造を用いて定常分布を導出する。
• 公式に現れる非標準的項は、元の連鎖のレート行列から導かれる線形システムを解くことで計算する。
• 本手法は、定常分布が元の均衡に比例する並列型と、追加の制約が生じる非並列型を区別する。
• 非並列型の場合、元の連鎖のレート行列の性質とその線形システムの解を用いて、定常分布の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 2つの連鎖間で2つの状態が同一視された場合、接合マルコフ連鎖の定常分布は、その成分連鎖の定常分布とどのように関係するか？
• RQ2 接合連鎖の定常分布が、元の連鎖の均衡の単純なスカラー倍となる条件（並列型）は何か？
• RQ3 レートの非対称性が直接的な比例関係を妨げる非並列型において、定常分布をどのように計算できるか？
• RQ4 非並列型における定常分布に成立する境界は何か？また、それらは元の連鎖のレート行列にどのように依存するか？

主な発見

• 接合連鎖の定常分布は、元の連鎖の定常分布とそのレート行列から導かれる線形システムの解の関数として表現される。
• 並列型では、接合連鎖の定常分布は元の連鎖の均衡のスカラー倍として表現され、計算が簡略化される。
• 非並列型では、定常分布は元の均衡から直接的に推定できず、非標準的項を求めるために追加の線形システムを解く必要がある。
• 非並列型における定常分布の境界は、元の連鎖のレート行列の固有値特性と構造に基づいて導出される。
• 本手法により、接合連鎖が可逆でない場合でも、元の連鎖の非可約性とレート行列の構造を活用して、定常分布を正確に計算可能となる。