[论文解读] Computable Convergence Rates for Subgeometrically Ergodic Markov Chains

Randal Douc, Éric Moulines+1 more|arXiv (Cornell University)|Nov 10, 2005

Markov Chains and Monte Carlo Methods参考文献 17被引用 6

一句话总结

本文通过漂移和小集条件，为子几何遍历马尔可夫链建立了可计算的收敛速率，将罗申达尔基于耦合的界扩展至一般子几何速率。提供了 $f$-总变差距离到平稳分布的显式、可计算界，适用于一般状态空间，并可应用于随机单调链和MCMC实例。

ABSTRACT

In this paper, we give quantitative bounds on the $f$-total variation distance from convergence of an Harris recurrent Markov chain on an arbitrary under drift and minorisation conditions implying ergodicity at a sub-geometric rate. These bounds are then specialized to the stochastically monotone case, covering the case where there is no minimal reachable element. The results are illustrated on two examples from queueing theory and Markov Chain Monte Carlo.

研究动机与目标

• 为子几何遍历马尔可夫链推导 $f$-总变差距离到平稳分布的显式、可计算界。
• 将罗申达尔基于耦合的界——此前仅适用于几何速率——扩展至 $\Lambda$ 中的一般子几何速率，其中 $\log r(n)/n \downarrow 0$。
• 通过随机单调性，为一般状态空间（包括不存在最小可达元素的情况）提供适用的框架。
• 建立形如 $r(n)\|P^n(x,\cdot) - \pi\|_f \leq g(x)$ 的定量界，其中 $g(x)$ 显式可计算。
• 在排队理论和马尔可夫链蒙特卡洛（MCMC）的实例上展示该方法，验证其实际效用。

提出的方法

• 基于林德瓦勒的不等式构造耦合，将收敛界与耦合时间的矩关联起来。
• 应用漂移和小集条件，通过满足 $\check{P}W(x,x') \leq W(x,x') - \phi \circ W(x,x') + b\mathbbm{1}_{C \times C}(x,x')$ 的李雅普诺夫函数 $W$ 推导耦合时间的期望界。
• 引入具有对数凹性性质的变换函数 $\phi \circ H_\phi^{-1}(k)$，以控制矩的增长。
• 在 $\mathsf{X} \times \mathsf{X}$ 上构造一个双变量马尔可夫核 $\check{P}$，以耦合路径并分析其首次命中小集 $C \times C$ 的 hitting 时间。
• 通过递归计算耦合时间的矩，利用漂移条件 $\mathbb{E}_x[\sum_{k=0}^{\tau_B-1} r(k)f(X_k)] < \infty$ 推导界，该条件保证了 $f$-范数收敛。
• 通过定义 $W_0(x)$ 并使用 $K(u)$ 和 $\psi(\eta)$ 控制 $q(y)/\pi(y)$ 的漂移，将该方法应用于随机单调链。

实验结果

研究问题

• RQ1 在一般漂移和小集条件下，能否为子几何遍历马尔可夫链推导出可计算的收敛速率？
• RQ2 罗申达尔基于耦合的界如何从几何速率扩展至 $f$-范数下的一般子几何速率？
• RQ3 在何种条件下，$f$-总变差距离 $\|P^n(x,\cdot) - \pi\|_f$ 以可计算的子几何速率衰减？
• RQ4 该方法如何适应于不存在最小元素的随机单调链？
• RQ5 该框架能否应用于实际模型（如排队系统和具有显式速率界MCMC算法）？

主要发现

• 本文建立了通用界 $r(n)\|P^n(x,\cdot) - \pi\|_f \leq g(x)$，其中 $g(x)$ 对任意 $r(n) \in \Lambda$（子几何速率类）显式可计算。
• 对于随机单调情形，即使不存在最小元素，该方法仍能给出界，从而将适用范围扩展至更广泛的模型。
• 基于耦合的方法提供了一个自包含的证明，推广并强化了诺姆梅林和图明恩（1983）以及图明恩和特威迪（1994）的早期结果。
• 通过满足 $\check{P}W \leq W - \phi \circ W + b\mathbbm{1}_{C \times C}$ 的李雅普诺夫函数 $W$，推导出 $f$-范数的显式界，其中 $\phi$ 的选取使得 $\phi \circ H_\phi^{-1}(k)$ 具有对数凹性。
• 该方法对多项式速率 $r(n) = n^\beta$ 及更一般的子几何速率（包括满足 $\lim_{n \to \infty} r(n)n^{-\kappa} = \infty$ 对所有 $\kappa$ 成立的速率）均能给出可计算的界。
• 该框架在两个实例上得到验证：一个排队模型和一个MCMC算法，展示了其在推导显式收敛速率方面的实际效用。