[论文解读] Hoeffding's lemma for Markov Chains and its applications to statistical learning

Jianqing Fan, Bai Jiang+1 more|arXiv (Cornell University)|Feb 1, 2018

Markov Chains and Monte Carlo Methods参考文献 44被引用 23

一句话总结

该论文通过引入与谱间隙相关的乘法因子 (1+λ)/(1−λ)（其中 λ 为转移核在均值为零的平方可积函数空间上的算子范数），将霍夫丁引理由独立随机变量推广至一般状态空间、非可逆马尔可夫链。关键贡献是为马尔可夫链有界函数之和建立了次高斯尾部界，当 λ=0 时退化为经典霍夫丁界，并将先前结果推广至时变函数与非可逆链的情形。

ABSTRACT

We extend Hoeffding's lemma to general-state-space and not necessarily reversible Markov chains. Let $\{X_i\}_{i \ge 1}$ be a stationary Markov chain with invariant measure $π$ and absolute spectral gap $1-λ$, where $λ$ is defined as the operator norm of the transition kernel acting on mean zero and square-integrable functions with respect to $π$. Then, for any bounded functions $f_i: x \mapsto [a_i,b_i]$, the sum of $f_i(X_i)$ is sub-Gaussian with variance proxy $\frac{1+λ}{1-λ} \cdot \sum_i \frac{(b_i-a_i)^2}{4}$. This result differs from the classical Hoeffding's lemma by a multiplicative coefficient of $(1+λ)/(1-λ)$, and simplifies to the latter when $λ= 0$. The counterpart of Hoeffding's inequality for Markov chains immediately follows. Our results assume none of countable state space, reversibility and time-homogeneity of Markov chains and cover time-dependent functions with various ranges. We illustrate the utility of these results by applying them to six problems in statistics and machine learning.

研究动机与目标

• 将霍夫丁引理由独立随机变量推广至任意状态空间的一般马尔可夫链。
• 消除先前研究中对可逆性、时间同质性及可数状态空间的假设限制。
• 为时变有界函数的马尔可夫链之和推导出次高斯界，通过谱间隙显式刻画依赖性。
• 通过用 max{λr, 0} 替换 λ（其中 λr 为加法可逆化形式的右谱间隙），为时不变函数情形提供更紧致的集中不等式。
• 在六个统计与机器学习应用中展示新界的有效性，包括 MCMC 估计与多臂赌博机问题。

提出的方法

• 将绝对谱间隙 1−λ 定义为转移核 P 在 L0₂(π) 上的算子范数，其中 L0₂(π) 是在不变测度 π 下的均值为零、平方可积函数空间。
• 建立一个新的霍夫丁型指数矩界：E[exp(t∑(fi(Xi)−∫fi dπ))] ≤ exp(t²/2 × (1+λ)/(1−λ) × ∑(bi−ai)²/4)，对任意 t∈ℝ 及有界函数 fi: X→[ai,bi] 成立。
• 利用加法可逆化形式 (P+P*)/2 定义 λr（即最右谱值），并证明在时不变 f 情形下，通过将 λ 替换为 max{λr, 0} 可使界更优。
• 应用该界推导出 ∑fi(Xi) 的次高斯集中不等式，其方差代理参数为 α(λ) × ∑(bi−ai)²/4，其中 α(λ)=(1+λ)/(1−λ)。
• 在最小假设下证明该界成立：平稳性、函数有界性及不变测度 π 的存在性。
• 利用赫尔德不等式与马尔可夫算子的谱性质，控制和的矩生成函数，借助算子范数 λ 与可逆化形式对界进行精细化。

实验结果

研究问题

• RQ1 霍夫丁引理能否推广至一般非可逆马尔可夫链，而无需假设可数状态空间或时间同质性？
• RQ2 当底层随机变量为马尔可夫相关时，对经典霍夫丁界应施加何种正确的乘法校正因子？
• RQ3 转移核的谱间隙 λ 如何影响有界函数之和在马尔可夫链中的集中性？
• RQ4 在时不变函数情形下，能否通过使用右谱间隙 λr 替代 λ 来进一步收紧该界？
• RQ5 该新集中不等式在具有依赖数据的实际统计与机器学习问题中可应用到何种程度？

主要发现

• 论文为平稳马尔可夫链的有界函数之和建立了新的霍夫丁型指数矩界：E[exp(t∑(fi(Xi)−∫fi dπ))] ≤ exp(t²/2 × (1+λ)/(1−λ) × ∑(bi−ai)²/4)，其中 λ 为转移核在 L0₂(π) 上的算子范数。
• 当 λ=0 时，该界精确退化为经典霍夫丁引理，确认其与独立情形的一致性。
• 在时不变函数情形（f1=⋯=fn=f）下，可通过将 λ 替换为 max{λr, 0} 来改进该界，其中 λr 为加法可逆化形式 (P+P*)/2 的右谱间隙，从而得到更紧致的因子 α(max{λr, 0})=(1+max{λr, 0})/(1−max{λr, 0})。
• 所导出的集中不等式推广了 Miasojedow (2014) 与 León 和 Perron (2004) 的结果，将其扩展至时变函数与非可逆链。
• 首次在该一般设定下正式确立了 ∑fi(Xi) 的次高斯性质，为马尔可夫依赖和提供了基础性刻画。
• 该界被应用于六个问题：稀疏协方差估计、MCMC 估计、多臂赌博机等，表明赌博机问题中的期望遗憾按 O(log T / Δj²) 刻画，且常数依赖于谱间隙，优于先前结果。