[論文レビュー] Hitting Times and Probabilities for Imprecise Markov Chains

Thomas Krak, Natan T’Joens+1 more|arXiv (Cornell University)|May 21, 2019

Bayesian Modeling and Causal Inference参考文献 21被引用数 5

ひとこと要約

本稿では、曖昧なマルコフ連鎖の3つの異なる定式化——一様マルコフ連鎖の集合、一般の確率過程の集合、ゲーム理論的モデル——において、下位および上位の期待到達時間と到達確率が同一であることを確立している。古典的な正確なマルコフ連鎖の特徴づけを直接一般化し、これらの曖昧な期待値が正確な場合を拡張する非線形方程式系を満たすことを証明することで、曖昧なマルコフ連鎖の異なる解釈間での推論を統一している。

ABSTRACT

We consider the problem of characterising expected hitting times and hitting probabilities for imprecise Markov chains. To this end, we consider three distinct ways in which imprecise Markov chains have been defined in the literature: as sets of homogeneous Markov chains, as sets of more general stochastic processes, and as game-theoretic probability models. Our first contribution is that all these different types of imprecise Markov chains have the same lower and upper expected hitting times, and similarly the hitting probabilities are the same for these three types. Moreover, we provide a characterisation of these quantities that directly generalises a similar characterisation for precise, homogeneous Markov chains.

研究の動機と目的

• 曖昧なマルコフ連鎖の異なる定式化における期待到達時間と到達確率の取り扱いを統一すること。
• 集合としてのマルコフ連鎖、一般の確率過程、ゲーム理論的モデルという3つの異なる解釈において、下位および上位の期待到達時間と到達確率が不変であることを示すこと。
• 正確なマルコフ連鎖における到達時間と到達確率の古典的特徴づけを曖昧な状況に一般化し、正確な場合を拡張する非線形方程式系を提供すること。

提案手法

• 曖昧なマルコフ連鎖を3つの異なる枠組みで定式化する：一様マルコフ連鎖の集合、一般の確率過程、ゲーム理論的確率モデル。
• 一貫性のある下位および上位予測を用いて、到達時間と確率の下位および上位期待値を定義する。
• 古典的な正確なマルコフ連鎖の解を一般化する非線形方程式系を用いて、これらの期待値の特徴づけを導出する。
• パラメータ λ → 0 の極限的手続きを用い、ゲーム理論的モデルと到達確率の解を結びつける。
• 一時的状態空間上で行列の逆行列技術を適用し、Ac \ C 上で方程式系を解き、異なるモデル間での解の同一性を証明する。
• 関数の収束性および逆行列の存在性を含む位相的および測度論的道具を用い、結果を厳密に確立する。

実験結果

リサーチクエスチョン

• RQ1 曖昧なマルコフ連鎖の3つの主要な定式化において、下位および上位の期待到達時間と到達確率は異なっているか？
• RQ2 正確なマルコフ連鎖における到達時間と到達確率の古典的特徴づけを曖昧な設定に拡張できるか？
• RQ3 すべての曖昧なマルコフ連鎖の解釈にわたって、下位および上位の期待到達時間と到達確率を特徴づける統一された方程式系が存在するか？

主な発見

• 下位および上位の期待到達時間と到達確率は、曖昧なマルコフ連鎖の3つの解釈——一様マルコフ連鎖の集合、一般の確率過程、ゲーム理論的モデル——において同一である。
• 到達確率 p∗_A は方程式 p0 = IA + IAc · T p0 の最小非負解であり、正確な場合を一般化している。
• 上位到達確率は、λ → 0 の極限におけるパrametrized系の解の極限として特徴づけられ、モデル間の一貫性が保証される。
• 一時的集合 Ac \ C 上の解は、F が Ac \ C に制限された遷移行列である (I − F)−1 を用いた行列の逆行列によって一意に決定される。
• 本稿では、上位期待到達確率の値が、集合内すべてのモデルにおける上界に一致することを証明しており、感度分析の解釈とも整合することが確認された。
• 結果として、Lopatatzidis らの出生死滅過程に関する研究および De Cooman らの非線形系に関する研究が、一般的特徴づけの特殊ケースとして統合された。