[论文解读] A pointwise ergodic theorem for imprecise Markov chains

Gert de Cooman, Jasper De Bock+1 more|arXiv (Cornell University)|Nov 15, 2014

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

本文在博弈论框架下建立了子鞅差分的强有力大数定律，随后将其应用于推导具有模糊转移概率的离散时间马尔可夫链的逐点遍历定理——其中概率位于凸闭集内。关键贡献在于，即使在分布模糊的情况下，也证明了沿样本路径的函数时间平均的收敛性。

ABSTRACT

We prove a game-theoretic version of the strong law of large numbers for submartingale differences, and use this to derive a pointwise ergodic theorem for discrete-time Markov chains with finite state sets, when the transition probabilities are imprecise, in the sense that they are only known to belong to some convex closed set of probability measures.

研究动机与目标

• 在博弈论框架下将强大数定律推广至子鞅差分。
• 解决具有模糊（模糊指定）转移概率的马尔可夫链缺乏遍历定理的问题。
• 为模糊概率系统中的长期行为分析建立理论基础。
• 将经典遍历理论推广至凸集概率测度而非精确分布的设定。

提出的方法

• 采用博弈论方法推导子鞅差分的强大数定律。
• 通过转移核的概率测度的凸闭集建模马尔可夫链中的不确定性。
• 应用博弈论大数定律，推导沿样本路径的时间平均收敛性。
• 在模糊转移律下，建立状态过程函数的几乎必然收敛性。
• 依赖子鞅结构与凸性，处理转移动态中的模糊性。
• 将博弈论概率与随机过程中的模糊概率模型相连接。

实验结果

研究问题

• RQ1 能否在博弈论设定下为子鞅差分建立强大数定律？
• RQ2 当转移概率仅知位于一个凸闭集内时，马尔可夫链是否成立点遍历定理？
• RQ3 转移核中的分布模糊性如何影响马尔可夫链的长期行为？
• RQ4 在模糊马尔可夫动态下，函数的时间平均是否几乎必然收敛？
• RQ5 何种条件可确保模糊马尔可夫链中经验均值的收敛性？

主要发现

• 证明了子鞅差分在博弈论框架下的强大数定律，将经典结果扩展至更广泛的随机过程类别。
• 在具有凸集转移概率的模糊马尔可夫链下，建立了有界函数沿样本路径的时间平均收敛性。
• 即使转移概率仅知在凸闭集内，该结果仍几乎必然成立。
• 该方法可在存在概率模糊性的情况下实现稳健的长期分析。
• 该方法为模糊概率模型中的遍历行为提供了理论基础。
• 该框架支持利用子鞅结构处理随机动力系统中的不确定性。