[论文解读] Exponential Concentration Inequalities for Additive Functionals of Markov Chains

Radosław Adamczak, Witold Bednorz|arXiv (Cornell University)|Jan 17, 2012

Markov Chains and Monte Carlo Methods参考文献 35被引用 7

一句话总结

本文通过基于更新的途径，为遍历马尔可夫链的加性泛函建立了指数集中不等式，在漂移条件成立下提供了显式且可计算的常数。该研究推导了无界函数的伯恩斯坦型不等式，将经典独立和的结果扩展至马尔可夫链，具有在MCMC和统计估计中的实际应用价值。

ABSTRACT

Using the renewal approach we prove exponential inequalities for additive functionals and empirical processes of ergodic Markov chains, thus obtaining counterparts of inequalities for sums of independent random variables. The inequalities do not require functions of the chain to be bounded and moreover all the involved constants are given by explicit formulas whenever the usual drift condition holds, which may be of interest in practical applications e.g. to MCMC algorithms.

研究动机与目标

• 推导遍历马尔可夫链加性泛函的指数集中不等式，作为独立随机变量和不等式的稳健替代形式。
• 确保在标准漂移条件下，所有界中常数均可显式计算，从而增强在MCMC算法和统计推断中的实际可用性。
• 通过引入极限方差和次指数尾部行为，将经典伯恩斯坦型不等式扩展至马尔可夫链的无界函数。
• 在弱矩条件和几何遍历性假设下，控制函数类索引的统计过程，包括希尔伯特空间取值的过程。

提出的方法

• 基于更新的方法将马尔可夫链分解为由原子或小集定义的再生周期之间的“逸出”部分，将依赖结构简化为近乎独立的形式。
• 该方法利用Nummelin和Athreya-Ney的分裂技术构建再生结构，从而可应用独立或弱依赖随机变量的集中不等式。
• 关键参数如漂移、方差和尾部控制均来自漂移条件，且在指数界中给出了常数的显式公式。
• 通过矩生成函数引入奥尔利奇范数控制，使得在次指数尾部假设下可对无界函数建立界。
• 使用杜布极大不等式和平行四边形恒等式控制希尔伯特空间取值加性泛函的上确界，尤其在经验过程设定中。
• 推导出多术语指数界，结合了不同尾部分布区间的项：方差主导项、有界性主导项和次指数尾部分量。

实验结果

研究问题

• RQ1 在标准漂移条件下，能否为马尔可夫链加性泛函的指数集中不等式提供完全显式且可计算的常数？
• RQ2 伯恩斯坦型不等式对独立和的扩展在多大程度上可推广至遍历马尔可夫链的无界函数？
• RQ3 在马尔可夫链设定下，如何控制函数类索引的经验过程，特别是当函数取值于希尔伯特空间时？
• RQ4 再生结构在将依赖的马尔可夫链和转化为适合集中分析的近乎独立分量中起什么作用？

主要发现

• 本文建立了如下形式的一般指数尾部界：$\mathbf{P}_x(|\sum_{i=0}^{n-1} f(X_i)| > t) \leq C \exp(-c_1 t^\alpha / \mathbf{a}^\alpha) + C \pi^*(\theta)^{-1} \exp(-c_2 t^\alpha / \mathbf{b}^\alpha) + C \exp(-c_3 t^2 / (4\mathbf{c})^2)$，其中常数显式依赖于漂移和矩参数。
• 对于希尔伯特空间取值的加性泛函 $G$，其期望范数满足 $\mathbf{E}_x \|\sum_{i=0}^{n-1} G(X_i)\| \leq 2\Gamma(1+1/\alpha)\mathbf{a} + 2^{1/\alpha}e\Gamma(1+1/\alpha)\log^{1/\alpha}(e/\pi^*(\theta))\mathbf{b} + 4\alpha^{-1/2}\Gamma(2/\alpha)^{1/2}\mathbf{c}\sqrt{n}$，其中 $\mathbf{a}, \mathbf{b}, \mathbf{c}$ 可由漂移和矩条件显式计算。
• 归一化经验均值的尾部概率满足 $\mathbf{P}_x(\|\frac{1}{n}\sum_{i=0}^{n-1} G(X_i)\| \geq 2t) \leq \exp(-\frac{(1-2\varepsilon)^4 n t^2}{2(1+\varepsilon)^2 \sigma^2}) + e\exp(-\frac{n t (1-2\varepsilon)^2}{2M(1+\varepsilon^{-1})(3+4\varepsilon^{-1})}) + e^8 \exp(-\frac{(\varepsilon(1-2\varepsilon)n t)^\alpha}{2\mathbf{c}^\alpha}) + \text{低阶项}$，其中 $M = \mathbf{c}(3\alpha^{-2}\log n)^{1/\alpha}$。
• 即使 $t$ 与 $n$ 无关，该界依然有效，主导项为方差主导的指数项，确保在大数定律区域中具有有意义的集中性。
• 该方法在指数不等式中给出了显式常数，使其可直接应用于弱矩假设下的MCMC收敛性分析和统计估计。