[论文解读] Limit formulas for the normalized fundamental matrix of the northwest-corner truncation of Markov chains: Matrix-infinite-product-form solutions of block-Hessenberg Markov chains

Hiroyuki Masuyama|arXiv (Cornell University)|Mar 25, 2016

Advanced Queuing Theory Analysis被引用 7

一句话总结

本文建立了连续时间马尔可夫链的西北角截断的归一化基本矩阵的极限公式，表明在遍历性和漂移条件成立时，其收敛于一个所有行均等于平稳分布向量的矩阵。主要贡献在于利用这些极限公式，推导出上、下块上三角马尔可夫链的平稳分布的矩阵无穷乘积（MIP）形式。

ABSTRACT

This paper considers the normalized fundamental matrix for the northwest-corner (NW-corner) truncation of ergodic continuous-time Markov chains, technically, of their infinitesimal generators. We first present a limit formula for the normalized fundamental matrix of the NW-corner truncation of the ergodic (infinitesimal) generator. The limit formula shows that, as the order (size) of the NW-corner truncation diverges to infinity, the corresponding normalized fundamental matrix converges to a stochastic matrix whose rows are all equal to the stationary distribution vector of the ergodic generator. Using the limit formula, we also derive the matrix-infinite-product form (MIP-form) solutions of the stationary distribution vectors of upper and lower block-Hessenberg Markov chains. In addition, from the MIP-form solutions, we develop numerically stable and easily implementable algorithms that generate the sequences of probability vectors convergent to the corresponding stationary distribution vectors of block-Hessenberg Markov chains.

研究动机与目标

• 分析由遍历连续时间马尔可夫链的无穷小生成元进行西北角截断后所得归一化基本矩阵的渐近行为。
• 建立归一化基本矩阵收敛于所有行均等于平稳分布向量的矩阵的充分条件。
• 利用极限公式，推导出上、下块上三角马尔可夫链的平稳分布向量的矩阵无穷乘积（MIP）形式。
• 通过截断系统收敛性，为水平依赖的 M/G/1 型和 GI/M/1 型过程提供平稳分布的计算框架。

提出的方法

• 将归一化基本矩阵定义为对西北角截断生成元的逆矩阵进行对角归一化后的行随机版本。
• 建立一个极限公式，表明当截断规模增大时，归一化基本矩阵收敛于一个所有行均等于平稳分布向量 π 的矩阵。
• 利用 Foster-Lyapunov 漂移条件，确保归一化基本矩阵收敛于平稳分布。
• 通过利用归一化基本矩阵在上、下块上三角结构中的极限行为，推导出平稳分布的矩阵无穷乘积形式。
• 利用上、下块上三角链之间的对偶性，通过上型算法将 MIP 解扩展至下型链。
• 构造收敛于完整平稳分布向量 π 的子向量迭代序列，从而实现数值计算。

实验结果

研究问题

• RQ1 在遍历连续时间马尔可夫链的西北角截断中，其归一化基本矩阵是否收敛于一个所有行均等于平稳分布向量 π 的矩阵？
• RQ2 在截断规模不断增加的极限下，何种条件可确保归一化基本矩阵收敛于平稳分布？
• RQ3 极限公式是否可用于推导出上、下块上三角马尔可夫链的平稳分布的矩阵无穷乘积（MIP）形式？
• RQ4 如何利用水平依赖的 M/G/1 型与 GI/M/1 型过程之间的对偶性，通过归一化基本矩阵的极限来计算平稳分布？

主要发现

• 在 Foster-Lyapunov 漂移条件成立下，当截断规模 n 趋近于无穷大时，遍历连续时间马尔可夫链的西北角截断的归一化基本矩阵收敛于一个所有行均等于平稳分布向量 π 的矩阵。
• 极限公式使得能够推导出上块上三角马尔可夫链（即水平依赖的 M/G/1 型过程）的平稳分布向量的矩阵无穷乘积（MIP）形式。
• 对于下块上三角马尔可夫链（即水平依赖的 GI/M/1 型过程），通过利用对偶性并基于上型解的迭代算法，获得 MIP 形式。
• 即使完整生成元为无限维，通过考虑有限截断的极限，仍可建立归一化基本矩阵收敛于 π 的结论。
• 该方法通过子向量的迭代序列，为块上三角链的平稳分布向量提供了一种数值稳定且收敛的计算算法。