[论文解读] Markov Chain Decomposition Based On Total Expectation Theorem

Katsunobu Sasanuma, Robert C. Hampshire+1 more|arXiv (Cornell University)|Jan 21, 2019

Advanced Queuing Theory Analysis参考文献 5被引用 5

一句话总结

本文提出了一种基于全期望定理的新型马尔可夫链分解方法，实现了无需严格不相交性或复杂归一化处理的灵活、重叠子链分解。通过在边界状态采用终止方案确保部分流量守恒，该方法允许子链期望的线性聚合，简化了性能分析，并为拥塞型人员配置队列和马氏调制队列等复杂模型提供了精确的解析解。

ABSTRACT

A divide-and-conquer approach to analyzing Markov chains (MCs) is not utilized as widely as it could be, despite its potential benefits. One primary reason for this is the fact that most MC decomposition approaches involve a complex and inflexible methodology: decomposed subchains must be disjoint, transition rates of these decomposed subchains must be altered in a way tailored to the particular MC model, and the procedure to aggregate suchains needs to incorporate a nonlinear normalization constraint, complicating the analytical expression of performance measures. In contrast, we propose a versatile yet simple decomposition method for continuous time MCs based on the total expectation theorem. Leveraging the properties of this theorem, our method has great flexibility in the choice of subchains, and the procedure to obtain expected values of interest is simply a linear summation of subchains' properties, which is not affected by the normalization constraint. We prove that to maintain the correct distribution of decomposed subchains one may use our novel termination scheme, a modification of transition rates, that ensures partial flow conservation at boundary states. This termination scheme is applicable to MCs with any structure, since the scheme depends only on the boundary-state distribution, not on the structure of the MCs. To demonstrate the generality and capability of our method, we analytically solve various models, such as a congestion-based staffing queue and a Markov-modulated Mt/Mt/1 queue. As not all systems admit an analytical solution, we complement this analysis with numerical studies of MCs with various sizes using the algorithm based on our method.

研究动机与目标

• 解决现有马尔可夫链分解方法的局限性，这些方法要求子链互不相交且需复杂的归一化程序。
• 开发一种灵活的分解框架，允许子链重叠或嵌套，同时不牺牲解析可处理性。
• 通过子链属性的线性组合消除非线性归一化约束，简化性能度量的聚合。
• 通过基于边界状态部分流量守恒的新型终止方案，确保子链平稳分布的守恒。
• 在复杂队列模型上展示该方法的通用性与解析能力，并获得精确解。

提出的方法

• 该方法利用全期望定理（迭代期望法则）将全马尔可夫链上函数的期望值表示为子链期望的线性组合。
• 引入参考状态参数以处理归一化问题，该问题在分析末尾通过将期望的参数设为1来解决。
• 提出一种新型终止方案，通过修改边界状态的转移率来保持部分流量守恒，确保子链平稳分布的有效性。
• 该方法的关键洞察在于：若子链所有边界状态的净流入/流出保持不变，则稳态分布得以守恒。
• 定义广义概率测度 π(k)j，以实现在全状态空间上对子链分布的一致比较。
• 该方法适用于任何连续时间马尔可夫链结构，因为终止方案仅依赖于边界状态分布，而不依赖于全局拓扑结构。

实验结果

研究问题

• RQ1 能否开发一种马尔可夫链分解方法，允许子链重叠或嵌套，同时保持解析简单性？
• RQ2 如何消除传统分解方法中的归一化约束，以简化性能度量的聚合？
• RQ3 在何种条件下，子链的平稳分布能与原始全链保持一致？
• RQ4 能否设计一种通用的终止方案，无论链的结构如何，均能保持边界状态的部分流量守恒？
• RQ5 该方法在多大程度上可为复杂队列系统提供精确的解析解？

主要发现

• 所提方法可为复杂模型（如拥塞型人员配置队列和马氏调制的 M_t/M_t/1 队列）提供精确的解析解。
• 该方法实现了子链期望的线性聚合，避免了以往方法中常见的非线性归一化约束。
• 终止方案通过在边界状态保持净流量守恒，确保了子链分布的守恒，且对任意马尔可夫链结构均具有普适适用性。
• 通过强制实现部分流量守恒，该方法即使在子链重叠或嵌套时，也能保持子链平稳分布的正确性。
• 该方法通过将性能度量的计算简化为子链期望的加权和（权重由单一参考状态参数导出），显著简化了计算过程。
• 数值研究表明，该方法在大规模马尔可夫链上表现有效，验证了其可扩展性与准确性。