[论文解读] A Critical Account of Perturbation Analysis of Markov Chains

Karim Abbas, Joost Berkhout+1 more|arXiv (Cornell University)|Sep 14, 2016

Markov Chains and Monte Carlo Methods参考文献 49被引用 8

一句话总结

本文提出了一种基于级数展开的新型马尔可夫链摄动分析方法，其误差界在摄动量趋近于零时相对误差趋于零。该方法在偏差项框架下统一了有限链与可数无限链的分析，证明了级数收敛的条件，并在数值效率上优于传统的条件数与强稳定性界，尤其在有限状态模型（如带故障的M/G/1队列）中表现更优。

ABSTRACT

Perturbation analysis of Markov chains provides bounds on the effect that a change in a Markov transition matrix has on the corresponding stationary distribution. This paper compares and analyzes bounds found in the literature for finite and denumerable Markov chains and introduces new bounds based on series expansions. We discuss a series of examples to illustrate the applicability and numerical efficiency of the various bounds. Specifically, we address the question on how the bounds developed for finite Markov chains behave as the size of the system grows. In addition, we provide for the first time an analysis of the relative error of these bounds. For the case of a scaled perturbation we show that perturbation bounds can be used to analyze stability of a stable Markov chain with respect to perturbation with an unstable chain.

研究动机与目标

• 在统一的理论框架下，统一有限与可数无限马尔可夫链的摄动分析。
• 通过引入在摄动大小趋于零时相对误差趋于零的新误差界，克服现有误差界（尤其是条件数界）的局限性。
• 建立级数展开收敛性与平稳分布存在性之间的充分条件，即使在多链与单链情形下也成立。
• 展示摄动误差界在混合系统稳定性分析中的应用，例如通过参数θ混合稳定与不稳定马尔可夫链的情形。
• 为强稳定性界提供数值上更高效的替代方案，尤其在有限状态模型中，级数展开可产生更紧致的误差界。

提出的方法

• 提出一种基于级数展开的方法，推导平稳分布差异 ||π_R^T - π_P^T|| 的摄动误差界。
• 引入偏差项概念，统一在级数展开框架下对单链与多链的处理。
• 利用v-范数与矩阵范数（如 ||·||_v）推导平稳分布差异的误差界。
• 应用缩放摄动模型 P(θ) = (1−θ)P + θR，分析当 θ→0 时的相对误差行为。
• 通过条件 ||T||_v < 1 推导级数展开的收敛条件，其中 T 为与转移矩阵相关的矩阵。
• 通过有限状态系统中 D_θ（基本矩阵）与 π_θ 的数值计算，验证误差界的有效性。

实验结果

研究问题

• RQ1 当摄动大小趋于零时，现有摄动误差界（条件数界与强稳定性界）的相对误差行为如何？
• RQ2 能否构造一种基于级数展开的误差界，使其在小摄动极限下相对误差趋于零？
• RQ3 在多链与单链背景下，何种条件可确保级数展开收敛并保证平稳分布的存在性？
• RQ4 如何利用摄动分析推导稳定与不稳定马尔可夫链混合系统稳定性域的下界？
• RQ5 在有限状态模型中，级数展开误差界相较于强稳定性界与条件数界的数值效率如何？

主要发现

• 所提出的级数展开误差界（SEB）在摄动大小 θ→0 时实现相对误差趋于零，而标准条件数界不具备此性质。
• 对于 N=50 的 M/G/1/N 队列（带故障），当 K=3 项时，SEB 在 θ≤0.1 时的相对绝对误差低于10%，展现出极高的数值效率。
• 通过级数展开方法导出的下界表明，系统在故障概率高达约 1/2 时仍保持稳定。
• 强稳定性界（SSB）可为无限状态链提供理论误差界，但其数值质量较差，尤其在小摄动时表现不佳。
• 条件 ||T||_v ≤ b₁(α) < 1 确保了级数展开的收敛性，并用于推导 P(θ) 稳定性域的下界。
• 对于有限状态 M/G/1/N 队列（λ=0.5, μ=1, r=1, α=1），条件 θ||(P₁−P₀)D₀||_v < 1 在 θ < 1/8 时成立，且在 θ₀=0.1 处完成了数值验证。