[論文レビュー] Sensitivity analysis for finite Markov chains in discrete time

Gert de Cooman, Filip Hermans+1 more|arXiv (Cornell University)|Aug 9, 2014

Bayesian Modeling and Causal Inference参考文献 21被引用数 6

ひとこと要約

本稿は、遷移確率および初期確率におけるエピステミック的不確実性を伴う有限時刻離散時間マルコフ連鎖に対する感度分析フレームワークを導入する。遷移確率と初期確率をベイジアン・セットとして不確実性をモデル化し、それに基づき曖昧なマルコフ連鎖を定式化する。下限期待値および上限期待値を用いて、時刻が無限大に近づくにつれて状態分布が一意の不確実性集合へ収束することを示し、古典的Perron-Frobenius定理を曖昧確率モデルへ一般化する。

ABSTRACT

When the initial and transition probabilities of a finite Markov chain in discrete time are not well known, we should perform a sensitivity analysis. This is done by considering as basic uncertainty models the so-called credal sets that these probabilities are known or believed to belong to, and by allowing the probabilities to vary over such sets. This leads to the definition of an imprecise Markov chain. We show that the time evolution of such a system can be studied very efficiently using so-called lower and upper expectations. We also study how the inferred credal set about the state at time n evolves as n->infinity: under quite unrestrictive conditions, it converges to a uniquely invariant credal set, regardless of the credal set given for the initial state. This leads to a non-trivial generalisation of the classical Perron-Frobenius Theorem to imprecise Markov chains.

研究の動機と目的

• 有限時刻離散時間マルコフ連鎖における初期確率および遷移確率の不確実性に対処すること。
• 正確な確率ではなく、ベイジアン集合を用いてエピステミック的不確実性をモデル化すること。
• このような曖昧なマルコフ連鎖の長期的挙動を分析すること。
• 古典的Perron-Frobenius定理を曖昧確率モデルへ一般化すること。
• n → ∞ のとき、状態に関するベイジアン集合が一意の不変ベイジアン集合へ収束する条件を確立すること。

提案手法

• 確率の初期値および遷移確率における不確実性を、確率の信念区間を表すベイジアン集合としてモデル化する。
• これらのベイジアン集合上で確率が変動しうることを許容することで、曖昧なマルコフ連鎖を定義する。
• 時間発展における状態分布の計算を能率的に行うために、下限期待値および上限期待値を用いる。
• ベイジアン集合の時間発展を用いて、状態分布の漸近的挙動を分析する。
• 時間nにおける推定された状態に関するベイジアン集合が、n → ∞ のとき一意の不変ベイジアン集合へ収束することを証明する。
• この収束が成立する条件を確立し、Perron-Frobenius定理を曖昧モデルへ一般化する。

実験結果

リサーチクエスチョン

• RQ1 遷移確率および初期確率が部分的にしか分かっていない場合、どのように系統的な感度分析を実施できるか？
• RQ2 ベイジアン集合による不確実性モデル化のもとで、曖昧なマルコフ連鎖の長期的挙動はいかなるものか？
• RQ3 時間の経過に伴い、状態分布に関するベイジアン集合が一意の不変集合へ収束する条件は何か？
• RQ4 下限期待値および上限期待値の使用が、曖昧なマルコフ連鎖における時間発展の計算をどのように能率化するか？
• RQ5 古典的Perron-Frobenius定理は、曖昧確率フレームワークへどの程度一般化可能か？

主な発見

• 曖昧なマルコフ連鎖の時間発展は、下限期待値および上限期待値を用いることで能率的に分析可能である。
• 控えめで制限のない条件下でも、時間nにおける状態に関するベイジアン集合はn → ∞ のとき一意の不変ベイジアン集合へ収束する。
• この収束は初期のベイジアン集合とは無関係であるため、安定した長期的挙動を示している。
• 収束結果は、古典的Perron-Frobenius定理を曖昧確率モデルへ一般化したものである。
• 不変ベイジアン集合は、遷移行列の構造および遷移確率に対するベイジアン制約によって一意に決定される。