[论文解读] Bernstein's inequalities for general Markov chains

Bai Jiang, Qiang Sun+1 more|arXiv (Cornell University)|May 28, 2018

Control Systems and Identification参考文献 27被引用 19

一句话总结

本文通过利用扰动马尔可夫算子的算子范数来界定部分和的矩生成函数，为一般马尔可夫链（包括一般状态空间和非可逆链）建立了精确的伯恩斯坦型集中不等式。关键贡献在于提出了一种新颖的凸分解方法，将矩生成函数的界分解为经典伯恩斯坦项与依赖性调整项，从而在低方差、高依赖性场景下，相较于以往工作获得了更紧的偏离界。

ABSTRACT

We establish Bernstein's inequalities for functions of general (general-state-space and possibly non-reversible) Markov chains. These inequalities achieve sharp variance proxies and encompass the classical Bernstein inequality for independent random variables as special cases. The key analysis lies in bounding the operator norm of a perturbed Markov transition kernel by the exponential of sum of two convex functions. One coincides with what delivers the classical Bernstein inequality, and the other reflects the influence of the Markov dependence. A convex analysis on these two functions then derives our Bernstein inequalities. As applications, we apply our Bernstein inequalities to the Markov chain Monte Carlo integral estimation problem and the robust mean estimation problem with Markov-dependent samples, and achieve tight deviation bounds that previous inequalities can not.

研究动机与目标

• 将经典的伯恩斯坦不等式推广至一般马尔可夫链，包括非可逆链和一般状态空间链。
• 推导出具有精确方差代理变量的集中不等式，且在独立性条件下可退化为经典结果。
• 通过离散化和Léon-Perron算子，克服一般状态空间中无限维马尔可夫算子的挑战。
• 将新不等式应用于MCMC积分估计和马尔可夫依赖下的鲁棒均值估计。
• 相比以往的霍夫丁型不等式，实现更紧的非渐近置信区间和改进的偏离界。

提出的方法

• 使用Cramér-Chernoff方法，从马尔可夫链函数部分和的矩生成函数（mgf）界推导尾部界。
• 引入Léon-Perron算子作为马尔可夫转移核的凸上界，以处理无限维算子。
• 应用Kato的摄动理论，将扰动核 $ E^{tf/2} ilde{P} E^{tf/2} $ 的算子范数展开为 $ t $ 的幂级数，其中 $ ilde{P} $ 为Léon-Perron算子。
• 将函数 $ f $ 离散化为 $ ilde{f}_k $，将无限维问题转化为保持精度的有限维近似。
• 将mgf界分解为两个凸函数：$ g_1(t) = rac{\text{Var}(f)}{c^2}(e^{tc} - 1 - tc) $（经典伯恩斯坦项）和 $ g_2(t) = rac{\text{Var}(f)\rho t^2}{1 - \rho - 5ct} $（依赖性修正项），二者均为 $ t $ 的凸函数。
• 使用Moreau-Rockafellar公式下界估计 $ g_1(t) + g_2(t) $ 的Fenchel共轭，确保方差代理变量的精度无损失。

实验结果

研究问题

• RQ1 能否将伯恩斯坦型集中不等式推广至具有精确方差代理变量的一般状态空间、非可逆马尔可夫链？
• RQ2 在无限维设定下，如何界定马尔可夫链函数部分和的矩生成函数？
• RQ3 谱性质与算子摄动理论在马尔可夫依赖下推导更紧集中界的过程中起什么作用？
• RQ4 在MCMC和鲁棒均值估计中，新不等式与现有霍夫丁型界相比表现如何？
• RQ5 能否通过mgf的凸分解，显式量化马尔可夫链的依赖结构？

主要发现

• 所提出的伯恩斯坦不等式实现了精确的方差代理变量，并在独立随机变量情况下精确退化为经典伯恩斯坦不等式。
• 部分和 $ rac{1}{n}\textstyle\bigsum_{i=1}^n f(X_i) $ 的矩生成函数被界为 $ \text{exp}\big(n \big( g_1(t) + g_2(t) \big)\big) $，其中 $ g_1(t) $ 对应该经典伯恩斯坦项，$ g_2(t) $ 捕获了马尔可夫依赖性。
• 在MCMC积分估计中，新不等式导出的非渐近置信区间比Paulin (2015) 的结果至少紧30%。
• 在马尔可夫依赖下的鲁棒均值估计中，新不等式给出递减的上界，而霍夫丁型界（如Fan et al., 2021）仅给出非递减的上界。
• 通过使用Moreau-Rockafellar公式处理凸函数之和的共轭，该方法保持了方差代理变量的精度。
• Léon-Perron算子与函数离散化的结合，使得有限状态空间的技术可严格推广至一般状态空间链，且不损失精度。