[论文解读] Hitting Times and Probabilities for Imprecise Markov Chains

Thomas Krak, Natan T’Joens+1 more|arXiv (Cornell University)|May 21, 2019

Bayesian Modeling and Causal Inference参考文献 21被引用 5

一句话总结

本文证明了在三种不同的模糊马尔可夫链表述中——作为齐次马尔可夫链的集合、作为一般随机过程的集合，以及作为博弈论模型——下界和上界期望 hitting 时间与 hitting 概率是相同的。它直接推广了精确马尔可夫链的经典表征方法，证明这些模糊期望满足一个非线性方程组，该方程组扩展了精确情形，从而统一了不同解释下模糊马尔可夫链的推断。

ABSTRACT

We consider the problem of characterising expected hitting times and hitting probabilities for imprecise Markov chains. To this end, we consider three distinct ways in which imprecise Markov chains have been defined in the literature: as sets of homogeneous Markov chains, as sets of more general stochastic processes, and as game-theoretic probability models. Our first contribution is that all these different types of imprecise Markov chains have the same lower and upper expected hitting times, and similarly the hitting probabilities are the same for these three types. Moreover, we provide a characterisation of these quantities that directly generalises a similar characterisation for precise, homogeneous Markov chains.

研究动机与目标

• 统一模糊马尔可夫链不同形式化表述下期望 hitting 时间与 hitting 概率的处理方法。
• 证明下界和上界期望 hitting 时间与概率在三种不同解释下保持不变：马尔可夫链的集合、一般随机过程，以及博弈论模型。
• 将精确马尔可夫链下 hitting 时间与概率的经典表征方法推广至模糊情形，提供一个扩展精确情形的非线性系统。

提出的方法

• 通过三种不同框架形式化模糊马尔可夫链：齐次马尔可夫链的集合、一般随机过程，以及博弈论概率模型。
• 使用相干下和上预验（lower and upper previsions）定义 hitting 时间与概率的下界和上界期望。
• 通过一个推广经典精确马尔可夫链解的非线性方程组，推导出这些期望的表征。
• 利用参数 λ → 0 的极限过程，将博弈论模型与 hitting 概率解联系起来。
• 在瞬态状态集 Ac \ C 上应用矩阵求逆技术，求解该系统，并证明不同模型下解的一致性。
• 运用拓扑与测度论工具，包括函数收敛性与逆矩阵的存在性，严格建立结果。

实验结果

研究问题

• RQ1 在模糊马尔可夫链的三种主要形式化表述中，下界和上界期望 hitting 时间与概率是否不同？
• RQ2 能否将精确马尔可夫链下 hitting 时间与概率的经典表征方法扩展到模糊情形？
• RQ3 是否存在一个统一的方程组，能够表征所有模糊马尔可夫链解释下的下界和上界期望 hitting 时间与概率？

主要发现

• 在模糊马尔可夫链的三种解释下——齐次马尔可夫链的集合、一般随机过程，以及博弈论模型——下界和上界期望 hitting 时间与 hitting 概率完全相同。
• 击中概率 p∗_A 是方程 p0 = IA + IAc · T p0 的最小非负解，该结果推广了精确情形。
• 上界击中概率被表征为参数化系统解在 λ → 0 时的极限，确保了各模型间的一致性。
• 在瞬态集 Ac \ C 上的解由矩阵求逆 (I − F)−1 唯一确定，其中 F 是转移矩阵在 Ac \ C 上的限制。
• 本文证明了上界期望击中概率的值等于集合中所有模型上确界，确认了与敏感性分析解释的一致性。
• 结果统一了先前工作，包括 Lopatatzidis 等人关于出生-死亡链的研究，以及 De Cooman 等人关于非线性系统的研究，表明它们均为该广义表征的特例。