[论文解读] A graph theoretic interpretation of the mean first passage times

Pavel Chebotarev|arXiv (Cornell University)|Jan 12, 2007

Graph theory and applications参考文献 5被引用 9

一句话总结

本文通过将马尔可夫链表示为有向加权图，并以加权森林的比值形式表达平均首达时间（MFPT），为遍历马尔可夫链中的MFPT提供了图论解释。证明了当 $ i \neq j $ 时，$ m_{ij} = f_{ij}/q_j $，其中 $ f_{ij} $ 是包含状态 $ i $ 的一棵树和另一棵汇聚至状态 $ j $ 的树的两棵子树的入森林的总权重，$ q_j $ 是汇聚至状态 $ j $ 的生成树的总权重，且 $ m_{jj} = 1/\tilde{q}_j $。

ABSTRACT

Let $m_{ij}$ be the mean first passage time from state $i$ to state $j$ in an $n$-state ergodic homogeneous Markov chain with transition matrix $T$. Let $G$ be the weighted digraph without loops whose vertex set coincides with the set of states of the Markov chain and arc weights are equal to the corresponding transition probabilities. We give a graph-theoretic interpretation to $m_{ij}$. Namely, We show that $m_{ij}=f_{ij}/q_j$ if $i e j$ and $m_{ij}=1/ ilde q_j$ if $i=j$, where $f_{ij}$ is the total weight of 2-tree spanning converging forests in $G$ that have one tree containing $i$ and the other tree converging to $j$, $q_j$ is the total weight of spanning trees converging to $j$ in $G$, and $ ilde q_j=q_j/\sum_{k=1}^nq_k$. The result is illustrated by an example. Keywords: Markov chain; Mean first passage time; Spanning rooted forest; Matrix forest theorem; Laplacian matrix

研究动机与目标

• 建立遍历马尔可夫链中平均首达时间（MFPT）的组合图论解释。
• 在马尔可夫链的有向图表示中，以加权入森林与生成树的形式表达MFPT。
• 基于特定两棵子树入森林与生成树的总权重，提供MFPT的闭式表达式。
• 通过一个具体示例，明确计算森林权重与MFPT，验证理论框架。

提出的方法

• 将马尔可夫链表示为有向加权图 $ G $，其中顶点代表状态，弧的权重等于转移概率。
• 定义 $ f_{ij} $ 为两棵子树的入森林的总权重，其中一棵树包含状态 $ i $，另一棵树汇聚至状态 $ j $。
• 定义 $ q_j $ 为在 $ G $ 中汇聚至状态 $ j $ 的生成树的总权重。
• 利用矩阵森林定理及拉普拉斯矩阵 $ L = I - T $ 的广义逆，推导MFPT的表达式。
• 应用恒等式 $ m_{ij} = f_{ij}/q_j $（当 $ i \neq j $ 时），以及 $ m_{jj} = 1/\tilde{q}_j $，其中 $ \tilde{q}_j = q_j / \sum_k q_k $。
• 通过一个 $ n = 4 $ 的数值示例验证结果，从入森林与生成树中计算 $ f_{ij} $、$ q_j $ 与 $ m_{ij} $。

实验结果

研究问题

• RQ1 遍历马尔可夫链中的平均首达时间能否通过其关联加权有向图的组合不变量来表达？
• RQ2 MFPT从状态 $ i $ 到状态 $ j $ 对应的精确图论结构是什么？
• RQ3 两棵子树入森林与生成树的权重如何与MFPT矩阵相关联？
• RQ4 是否存在基于图表示中入森林与树权重的MFPT闭式表达式？
• RQ5 是否能仅通过特定入森林与生成树的总权重，无需矩阵求逆，重构MFPT矩阵？

主要发现

• 当 $ i \neq j $ 时，平均首达时间 $ m_{ij} $ 等于比值 $ f_{ij}/q_j $，其中 $ f_{ij} $ 是包含状态 $ i $ 的一棵树和另一棵汇聚至状态 $ j $ 的树的两棵子树入森林的总权重，$ q_j $ 是汇聚至状态 $ j $ 的生成树的总权重。
• 对角线元素 $ m_{jj} $ 由 $ 1/\tilde{q}_j $ 给出，其中 $ \tilde{q}_j = q_j / \sum_{k=1}^n q_k $，且 $ q_j $ 为汇聚至状态 $ j $ 的生成树的总权重。
• 在 $ n = 4 $ 的示例中，通过图论公式计算的MFPT矩阵 $ M $ 与通过广义逆公式得到的矩阵一致：$ M = \left[\begin{smallmatrix}12.5&1&6&14.5\\11.5&2.5&5&13.5\\6.5&7.5&5&8.5\\10.5&11.5&4&3.125\end{smallmatrix}\right] $。
• 汇聚至每个状态的生成树总权重为 $ q = (0.02, 0.1, 0.05, 0.08) $，且 $ \tilde{q} = (0.08, 0.4, 0.2, 0.32) $，与平稳分布 $ \pi $ 一致。
• 贡献于 $ f_{ij} $ 的两棵子树入森林被明确列出，其组合权重正确得出MFPT，例如 $ f_{14} = 1.16 $，$ f_{21} = 0.23 $，依此类推。
• 使用 $ Q_k $ 矩阵的递推过程成功计算出 $ f_{ij} $ 与 $ q_j $，证实了图论方法与基于矩阵的方法的一致性。