[論文レビュー] Stationary distributions of continuous-time Markov chains: a review of theory and truncation-based approximations

Juan Kuntz, Philipp Thomas+2 more|arXiv (Cornell University)|Sep 12, 2019

Gene Regulatory Network Analysis参考文献 162被引用数 4

ひとこと要約

本稿は、無限状態空間を有する連続時間マーカフ連鎖（CTMC）における定常分布の理論および近似手法をレビューし、無限状態空間に対する切断に基づくスキームに焦点を当てる。収束解析、誤差境界、計算上のトレードオフを提示し、主な貢献として、リャプノフ関数を用いた誤差境界の計算可能性と、事前誤差推定のためのフレームワークを示す。

ABSTRACT

Computing the stationary distributions of a continuous-time Markov chain (CTMC) involves solving a set of linear equations. In most cases of interest, the number of equations is infinite or too large, and the equations cannot be solved analytically or numerically. Several approximation schemes overcome this issue by truncating the state space to a manageable size. In this review, we first give a comprehensive theoretical account of the stationary distributions and their relation to the long-term behaviour of CTMCs that is readily accessible to non-experts and free of irreducibility assumptions made in standard texts. We then review truncation-based approximation schemes for CTMCs with infinite state spaces paying particular attention to the schemes' convergence and the errors they introduce, and we illustrate their performance with an example of a stochastic reaction network of relevance in biology and chemistry. We conclude by discussing computational trade-offs associated with error control and several open questions.

研究の動機と目的

• 非可約性の仮定を必要とせず、非専門家がアクセス可能な包括的で理解しやすいCTMCにおける定常分布のレビューを提供すること。
• 無限状態空間を有するCTMCにおける切断に基づく近似スキームの分析と比較を行い、収束性と誤差制御に焦点を当てる。
• 有限状態投影、切断・拡張、線形計画法（LP）などの手法が定常分布をどのように近似するかを評価すること。
• 実装における正確性、切断サイズ、数値的安定性の間の計算上のトレードオフを調査すること。
• 特に事前誤差予測と近似スキームにおける最適パrameter選択に関する未解決の理論的問題を同定すること。

提案手法

• 非可約性を仮定しないで、閉じた通信クラスとエルゴード分布を用いた定常分布の理論的分析。
• 一般のCTMCにおける定常分布の存在と一意性を保証するためのフォスター＝リアプノフ基準の適用。
• 有限部分集合上での定常分布の近似に、有限状態投影、切断・拡張（TA）、反復的TA（ITA）、レベル依存QBD過程（LDQBDP）などの切断に基づくスキームの使用。
• 線形計画法（LP）およびその変種（ILP）を用いて、近似の全変動誤差の下界および上界を計算可能に算出する。
• 大規模な切断において実際の誤差に比例するようにスケーリングされるリャプノフ関数に基づく誤差境界の導入により、保守的な尾部境界に依存しないより厳密で信頼性の高い誤差制御が可能になる。
• ストキャスティックトグルスイッチモデルを用いた数値的評価により、収束性、誤差挙動、計算コストの各スキーム間の比較が行われる。

実験結果

リサーチクエスチョン

• RQ1 非可約性を仮定しないCTMCにおける定常分布はどのように特徴づけられるか。また、その存在と一意性を保証する条件は何か。
• RQ2 TA、ITA、LDQBDPなどの切断に基づく近似スキームが、どのような条件下で真の定常分布に収束するか。
• RQ3 これらの近似に対して計算可能な誤差境界をどのように導出できるか。また、保守的な尾部境界に依存せずに、タイトで信頼性の高い境界を得ることは可能か。
• RQ4 切断誤差と実際の近似誤差の関係は何か。この関係を用いて事前誤差制御が可能か。
• RQ5 リャプノフ関数に基づく境界における自由パrameter（例：リャプノフ境界におけるβ）は、どのように選択すれば誤差境界を最小化し、近似品質を向上させられるか。

主な発見

• 非可約性を仮定しないCTMCにおける定常分布の集合は、閉じた通信クラス上のエルゴード分布の凸包に正確に一致する。
• TA、ITA、LDQBDPなどの切断に基づくスキームは、弱い条件下で真の定常分布に収束するが、再入行列と切断構造の選択に依存する。
• TAスキームにおけるリャプノフ関数に基づく誤差境界は、大規模な切断において実際の誤差に比例するようになり、保守的な尾部境界推定に比べて顕著な改善が得られる。
• 大規模な切断において、ITAおよびILPの下界誤差は尾部境界と一致した一方、上界は切断誤差に比例していたため、事前誤差推定の可能性が示唆された。
• 切断されたレート行列における大きな条件数に起因する数値的不安定性は主な課題であり、スケーリングや高精度算術により緩和可能である。
• ILPスキームは、定常分布の一意性を自動的にテストする機能を有する：任意の状態ごとの下界が非ゼロであれば、定常分布は高々一つしか存在しない。