[论文解读] Commuting time geometry of ergodic Markov chains

Peter G. Doyle, Jean Steiner|arXiv (Cornell University)|Jul 13, 2011

Markov Chains and Monte Carlo Methods参考文献 2被引用 6

一句话总结

本文为任意遍历马尔可夫链的状态建立了欧几里得嵌入，使得状态间的平方距离等于其期望的 commute 时间。它引入了 commute 时间的极小极大表征，将时间可逆链的最小耗散原理推广至非可逆情形，并构建了一个‘共形正确’的框架，该框架在调整平衡测度的同时保持转移速率不变。

ABSTRACT

We show how to map the states of an ergodic Markov chain to Euclidean space so that the squared distance between states is the expected commuting time. We find a minimax characterization of commuting times, and from this we get monotonicity of commuting times with respect to equilibrium transition rates. All of these results are familiar in the case of time-reversible chains, where techniques of classical electrical theory apply. In presenting these results, we take the opportunity to develop Markov chain theory in a `conformally correct' way

研究动机与目标

• 将马尔可夫链中 commute 时间的几何解释从时间可逆情形推广至一般遍历链。
• 为马尔可夫链开发一个共形正确框架，该框架在保持转移速率的同时允许平衡测度变化。
• 建立一个 commute 时间的极小极大表征，该表征在时间可逆情形下退化为最小耗散原理。
• 解决如下问题：是否每个 commute 时间矩阵都可由一个时间可逆链实现，结果表明答案是否定的。
• 为利用欧几里得嵌入与双线性形式分析非可逆马尔可夫链提供几何与代数基础。

提出的方法

• 将遍历马尔可夫链的状态嵌入欧几里得空间，使得状态 a 与 b 之间的平方距离等于其期望 commute 时间 T_ab。
• 在满足在 b 处为零、在 a 处为 1 的函数空间上定义双线性形式 L(φ, ψ)，使用转移率矩阵 Δ^ij 和平衡测度。
• 使用极小极大原理：r_ab = 1/T_ab = min_α max_{φ+ψ=2α} L(φ, ψ)，其中 α, φ, ψ ∈ S_a,b（满足 φ(a)=1, φ(b)=0 的函数）。
• 证明在时间可逆链中，双线性形式 L(φ, ψ) 变为对称形式，使极小极大原理退化为最小原理：r_ab = min_φ L(φ, φ)。
• 对链应用共形变换，这些变换保持转移速率但改变平衡测度，从而实现对可逆与非可逆链的统一处理。
• 使用上同调论论证，通过双线性形式的反对称部分 Z_ij - Z_ji 来刻画时间可逆性的障碍，该部分为零当且仅当链是可逆的。

实验结果

研究问题

• RQ1 能否将一般遍历马尔可夫链的 commute 时间几何化为欧几里得空间中的平方距离？
• RQ2 是否存在一个极小极大表征，可将时间可逆链的最小耗散原理推广至一般情形？
• RQ3 是否每个 commute 时间矩阵都可由一个时间可逆马尔可夫链实现？
• RQ4 共形变换在马尔可夫链理论中扮演何种角色？它们如何在保持转移结构的同时改变平衡测度？
• RQ5 何种上同调不变量刻画了马尔可夫链不可逆性的根源？

主要发现

• 任意遍历马尔可夫链的状态均可被嵌入欧几里得空间，使得状态 a 与 b 之间的平方距离等于其期望 commute 时间 T_ab。
• 建立了 commute 时间的极小极大表征：r_ab = 1/T_ab = min_α max_{φ+ψ=2α} L(φ, ψ)，该表征对所有遍历链均成立。
• 在时间可逆情形下，极小极大表征退化为最小耗散原理：r_ab = min_φ L(φ, φ)，从而恢复经典电网络理论。
• 本文纠正了先前认为增加转移速率总是降低 commute 时间的断言，通过‘旋转木马’反例表明该结论在非可逆链中不成立。
• 并非每个 commute 时间矩阵都可由时间可逆链实现；Lyons 和 Perez 通过反例确认了这一点，表明随着状态数增加，此类链极为稀少。
• 时间可逆性的障碍由反对称矩阵 Z_ij - Z_ji 的上同调类刻画，该类为零当且仅当链是可逆的。