[论文解读] Metastability of finite state Markov chains: a recursive procedure to identify slow variables for model reduction

Cláudio Landim, Tengfei Xu|arXiv (Cornell University)|Dec 21, 2015

Markov Chains and Monte Carlo Methods参考文献 12被引用 3

一句话总结

本文提出一种递归算法，通过构建状态空间及其对应时间尺度的逐级粗化划分层次，识别有限状态连续时间马尔可夫链中的慢变量。该方法确保在每个划分上的投影动力学收敛为马尔可夫链，从而在保持亚稳态行为的同时实现有效的模型降阶，其收敛性在对数速率比条件下已得证明。

ABSTRACT

Consider a sequence $(η^N(t) :t\ge 0)$ of continuous-time, irreducible Markov chains evolving on a fixed finite set $E$, indexed by a parameter $N$. Denote by $R_N(η,ξ)$ the jump rates of the Markov chain $η^N_t$, and assume that for any pair of bonds $(η,ξ)$, $(η',ξ')$ $\arctan \{R_N(η,ξ)/R_N(η',ξ')\}$ converges as $N\uparrow\infty$. Under a hypothesis slightly more restrictive (cf. \eqref{mhyp} below), we present a recursive procedure which provides a sequence of increasing time-scales $θ^1_N, \dots, θ^{\mf p}_N$, $θ^j_N \ll θ^{j+1}_N$, and of coarsening partitions $\{\ms E^j_1, \dots, \ms E^j_{\mf n_j}, Δ^j\}$, $1\le j\le \mf p$, of the set $E$. Let $ϕ_j: E o \{0,1, \dots, \mf n_j\}$ be the projection defined by $ ϕ_j(η) = \sum_{x=1}^{\mf n_j} x \, \mb 1\{η\in \ms E^j_x\}$. For each $1\le j\le \mf p$, we prove that the hidden Markov chain $X^j_N(t) = ϕ_j(η^N(tθ^j_N))$ converges to a Markov chain on $\{1, \dots, \mf n_j\}$.

研究动机与目标

• 开发一种系统化方法，用于识别有限状态连续时间马尔可夫链中的慢变量，以实现模型降阶。
• 构建状态空间的逐级粗化划分层次，每一层对应一个特定的时间尺度。
• 确保在每个划分上投影链的动力学在相应时间尺度下收敛为马尔可夫过程。
• 提供一个递归框架，通过状态空间的逐级粗化揭示亚稳态结构。
• 形式化时间尺度 θjN 下分离集 Δj 中停留时间趋于可忽略的条件。

提出的方法

• 该方法递归地构造时间尺度 θjN 和划分 {Ej1,…,Ejnj,Δj}（j=1,…,p），其粗化程度和 Δj 逐级增加。
• 依赖于假设 arctan(RN(η,ξ)/RN(η′,ξ′)) 在 N→∞ 时收敛，以确保对数速率比稳定。
• 对于每一层 j，投影 φj(η)=∑x=1nj x⋅1{η∈Ejx} 定义了一个在时间尺度 θjN 上演化的慢变量。
• 通过 Skorohod 拓扑下的收敛性证明，XjN(t)=φj(ηN(tθjN)) 收敛于 {1,…,nj} 上的连续时间不可约马尔可夫链。
• 该过程利用子集 F⊂E 上的迹过程 ηFt 分析 hitting 时间与常返性，确保在 Δj 中停留时间可忽略。
• 关键技术工具包括强马尔可夫性质、迹过程的遍历性，以及重缩放 hitting 时间收敛于指数分布的性质。

实验结果

研究问题

• RQ1 如何系统性地识别表现出亚稳态行为的有限状态连续时间马尔可夫链中的慢变量？
• RQ2 何种递归过程可确保在粗化划分上的动力学在多时间尺度下收敛为马尔可夫过程？
• RQ3 在时间尺度 θjN 下，停留在分离集 Δj 中的时间何时渐近可忽略？
• RQ4 如何构建划分与时间尺度的分层结构，使得每一层均揭示更粗化但仍是马尔可夫性的有效动力学？
• RQ5 何种数学条件可保证链在跃迁至另一山谷前遍历山谷内所有状态？

主要发现

• 投影过程 XjN(t)=φj(ηN(tθjN)) 在 N→∞ 时依分布收敛于 {1,…,nj} 上的连续时间不可约马尔可夫链。
• 时间尺度层次满足 θjN≪θj+1N，确保逐级粗化过程中的时间尺度分离。
• 集合 Δj 随 j 增加而增大，且在时间尺度 θjN 下停留在 Δj 中的时间在极限下趋于零，如条件 (H3) 所形式化。
• 对于任意初始状态属于 Ejx，其首次 hitting 到其他 Ejy 集合的 hitting 时间在时间尺度 θjN 下渐近服从指数分布。
• 以趋于 1 的概率，链在离开至另一 Ejy 前会访问 Ejx 内所有状态，确认了每个“山谷”内部的遍历性。
• 递归构造确保每一层 j 均生成一个在更小状态空间上有效且渐近马尔可夫性的约化模型。