[论文解读] Convergence of a Second Order Markov Chain

Shenglong Hu, Liqun Qi|arXiv (Cornell University)|Jul 26, 2013

Tensor decomposition and applications参考文献 2被引用 6

一句话总结

本文在转移概率张量的所有元素均大于 $\frac{1}{2n}$ 的条件下，建立了二阶幂法和二阶马尔可夫过程的全局线性收敛性，以求解二阶马尔可夫链的唯一平稳分布。关键贡献在于证明：若非线性映射 $F_P(x) = Px^2$ 的雅可比矩阵在标准单纯形上不以 1 为特征值，则存在唯一不动点，且收敛性可全局保证，收敛速率为线性。

ABSTRACT

In this paper, we consider convergence properties of a second order Markov chain. Similar to a column stochastic matrix is associated to a Markov chain, a so called {\em transition probability tensor} $P$ of order 3 and dimension $n$ is associated to a second order Markov chain with $n$ states. For this $P$, define $F_P$ as $F_P(x):=Px^{2}$ on the $n-1$ dimensional standard simplex $Δ_n$. If 1 is not an eigenvalue of $ abla F_P$ on $Δ_n$ and $P$ is irreducible, then there exists a unique fixed point of $F_P$ on $Δ_n$. In particular, if every entry of $P$ is greater than $\frac{1}{2n}$, then 1 is not an eigenvalue of $ abla F_P$ on $Δ_n$. Under the latter condition, we further show that the second order power method for finding the unique fixed point of $F_P$ on $Δ_n$ is globally linearly convergent and the corresponding second order Markov process is globally $R$-linearly convergent.

研究动机与目标

• 建立二阶马尔可夫链具有唯一平稳分布的条件。
• 分析二阶幂法在计算非线性映射 $F_P(x) = Px^2$ 的不动点时的收敛行为。
• 在转移张量的温和正性条件下，证明二阶马尔可夫过程的全局 $R$-线性收敛性。
• 通过张量模型将经典马尔可夫链收敛结果推广至高阶马尔可夫链。

提出的方法

• 定义非线性映射 $F_P: \Delta_n \to \Delta_n$，其中 $F_P(x)_i = \sum_{j,k=1}^n p_{ijk} x_j x_k$，$P$ 为三阶转移概率张量。
• 利用不动点指标理论，在不可约性及 $\nabla F_P$ 中不包含特征值 1 的条件下，证明 $F_P$ 在标准单纯形 $\Delta_n$ 上的不动点唯一。
• 通过证明 $\|x^{(k+1)} - x^*\|_1 \leq (2 - 2n\delta)^{\lceil (k+2)/2 \rceil}$（其中 $\delta > 0$ 满足 $p_{ijk} > \frac{1}{2n}$），建立二阶幂法的全局线性收敛性。
• 通过使用相同的 $\delta$-相关条件来界定误差衰减，证明马尔可夫过程 $x^{(s)} = P x^{(s-1)} x^{(s-2)}$ 的全局 $R$-线性收敛性。
• 利用条件 $p_{ijk} > \frac{1}{2n}$ 确保 $\nabla F_P$ 在 $\Delta_n$ 上不以 1 为特征值，从而保证不动点的唯一性与收敛性。
• 通过在 DNA 序列张量和随机生成的 $n=100$ 张量上的数值实验验证理论结果，显示与理论边界的良好一致性。

实验结果

研究问题

• RQ1 在何种条件下，二阶马尔可夫链具有唯一的平稳分布？
• RQ2 在何种条件下，二阶幂法会全局线性收敛至 $F_P(x) = Px^2$ 的不动点？
• RQ3 在何种条件下，二阶马尔可夫过程 $x^{(s)} = P x^{(s-1)} x^{(s-2)}$ 全局 $R$-线性收敛？
• RQ4 转移张量 $P$ 的元素正性如何影响 $\nabla F_P$ 的谱性质，从而影响收敛性？

主要发现

• 若转移概率张量 $P$ 的每个元素均大于 $\frac{1}{2n}$，则 $\nabla F_P$ 在 $\Delta_n$ 上不以 1 为特征值，从而保证 $F_P$ 的不动点唯一。
• 在相同的逐元素正性条件下，二阶幂法可全局线性收敛至 $F_P$ 的唯一不动点。
• 在相同条件下，二阶马尔可夫过程 $x^{(s)} = P x^{(s-1)} x^{(s-2)}$ 具有全局 $R$-线性收敛性。
• 数值实验验证了理论收敛速率：当 $n=3$ 时，幂法平均需 9.1 次迭代，马尔可夫过程需 12 次迭代，即可在 $10^{-6}$ 精度内收敛。
• 当 $n=100$ 时，满足正性条件的随机生成张量表现出的收敛曲线与理论 $R$-线性速率边界紧密吻合。
• 推导出的收敛界是紧致的，模拟中误差衰减速率与理论 $O((2 - 2n\delta)^{\lceil k/2 \rceil})$ 行为一致。