[论文解读] Derivation of the First Passage Time Distribution for Markovian Process on Discrete Network

Ken Sekimoto|arXiv (Cornell University)|Oct 6, 2021

Industrial Technology and Control Systems参考文献 1被引用 9

一句话总结

本文通过概率流形式化方法，对连续时间马尔可夫过程在离散网络上的首达时间（FPT）分布进行了系统的推导，其中吸收态被视作汇点。关键贡献是基于约化主方程的计算方法，可实现FPT分布的精确计算，且该方法在离散时间马尔可夫链中亦有对应形式。

ABSTRACT

Based on the analysis of probability flow, where the First Passage (FP) is realised as the sink of probability, we summarise the protocol to find the distribution of the First Passage Time (FTP). We also describe the corresponding formula for the discrete time case.

研究动机与目标

• 提供连续时间马尔可夫过程在离散网络上首达时间（FPT）分布的简洁、公开可访问的推导，该主题在标准综述中常被忽略。
• 形式化基于概率流与汇点建模的计算协议，以计算FPT分布，尤其适用于网络动力学与非平衡统计力学研究。
• 通过类比推导，将该形式化方法推广至离散时间马尔可夫链，确保广泛应用性。
• 利用精确的FPT分析，解决首达时间情境中诸如等待时间悖论等反直觉结果。
• 为研究随机网络中首达现象的科研人员提供可引用、自包含的参考文献，尤其适用于具有熵产生或罕见事件的系统。

提出的方法

• 通过将目标状态（B）转换为吸收汇点，建模首达问题，使概率不可逆地流出系统。
• 将首达时间（FPT）定义为从初始状态 α₀ ∈ Bᶜ 首次到达集合 B 中任意状态的时间这一随机变量。
• 使用主方程描述网络上概率的时间演化，其中状态间转移速率为 w_{α←β}。
• 通过消除吸收态（B），推导约化主方程，聚焦于 Bᶜ 中状态的动力学，得到控制瞬态概率衰减的矩阵 M*。
• 将FPT的概率密度表示为从 Bᶜ 流向 B 的概率流速率，即 −d/dt P_loop(t)，其中 P_loop(t) 为 Bᶜ 中的总概率。
• 对于离散时间情形，通过转移概率矩阵适配该形式化方法，并基于存活概率及其衰减推导FPT分布。

实验结果

研究问题

• RQ1 如何系统地推导连续时间马尔可夫过程在离散网络上的首达时间（FPT）分布？
• RQ2 概率流与汇点建模在简化FPT计算中起到何种作用？
• RQ3 约化主方程形式化方法如何实现FPT分布的精确计算？
• RQ4 FPT分析对竞争转移过程中等待时间悖论提供了哪些洞见？
• RQ5 连续时间形式化方法如何适配至离散时间马尔可夫链？

主要发现

• FPT分布被表示为从瞬态状态（Bᶜ）流向吸收态（B）的概率流速率，即 −d/dt P_loop(t)，其中 P_loop(t) 为 Bᶜ 中的总概率。
• 对于具有 n 个节点和出口速率 w* 的环形网络，从任意节点出发的平均首达时间（MFPT）恰好为 n/w*，与环路转移速率 w 无关。
• 在 w* ≪ w 的极限下，MFPT 近似为 n/w*，与概率从近乎均匀分布中缓慢衰减一致。
• 在 w* ≫ w 的极限下，MFPT 仍为 n/w*，尽管系统可能在退出前跳转至下一节点，这是由于竞争转移 1→2 的等待时间缩短。
• 通过证明当 w* ≫ w 时，竞争转移（如 1→2）的平均等待时间为 1/(w + w*) ≈ 1/w*，而非孤立情况下的 1/w，从而解决了等待时间悖论。
• 该形式化方法同样适用于离散时间马尔可夫链，通过使用转移概率矩阵与存活概率的类比推导实现。