[论文解读] Concentration inequalities for sums of random variables, each having power bounded tails

Oleksii Omelchenko, Andreĭ A. Bulatov|arXiv (Cornell University)|Mar 6, 2019

Limits and Structures in Graph Theory参考文献 15被引用 4

一句话总结

本论文为具有幂律尾部的独立整数值随机变量之和建立了集中不等式，其中每个变量的尾部受幂函数 $x^{-\alpha}$ 控制。当 $\alpha > 1$ 时，该和以高概率紧密集中在其均值附近，偏差界为 $O(n^{\max(1/\alpha, 1/2)})$；当 $\alpha \leq 1$ 时，该和虽无有限期望，但仍以高概率集中在 $O(n^{1/\alpha})$ 范围内。

ABSTRACT

In this work we present concentration inequalities for the sum $S_n$ of independent integer-valued not necessary indentically distributed random variables, where each variable has tail function that can be bounded by some power function with exponent $-α$. We show that when $01$, then the sum $S_n$ is concentrated around its mean. Since the r.vs. that constitute the sum has tails, which can be bounded by some power function, it follows that results of this paper are applicable to a wide range of different distributions, including the exponentially decaying ones.

研究动机与目标

• 推导独立但非同分布的整数值随机变量之和的集中界，其尾部受幂函数控制。
• 解决计算机科学中针对重尾分布缺乏集中工具的问题，特别是当高阶矩（如方差或期望）不存在时。
• 简化并离散化现有的概率论结果，以适用于组合问题（如随机可满足性问题）的实际应用。
• 为个体变量具有幂律型尾部衰减（包括一阶或二阶矩无穷的情况）的和提供显式且可使用的尾部界。

提出的方法

• 为整数值随机变量定义右尾函数 $F_{X+}(x) = \Pr[X \geq x]$ 和左尾函数 $F_{X-}(x) = \Pr[X \leq -x]$。
• 假设每个变量的尾部受幂函数控制：$F_{X_i+}(x) \leq V x^{-\alpha_r}$，$F_{X_i-}(x) \leq W x^{-\alpha_\ell}$，其中 $\alpha_r, \alpha_\ell > 0$。
• 使用矩生成函数方法，并通过指数倾斜进行细致的尾部估计，控制 $\mathcal{K}(\mu, x) = \mathbb{E}[e^{\mu S_n} \mathbf{1}_{S_n \geq \mathbb{E}S_n + x}]$。
• 应用带优化 $\mu$ 的切尔诺夫型界，推导尾部衰减速率，利用幂律尾部假设。
• 结合个体变量尾部的界与并集界及指数矩控制，推导出高概率偏差不等式。
• 通过对称性与变换（如 $X_i' = -X_i$）将右尾结果推广至左尾界，用于均值偏离的分析。

实验结果

研究问题

• RQ1 当个体变量具有幂律尾部且指数 $\alpha \leq 1$ 时，独立整数值随机变量之和的集中行为如何？
• RQ2 当由于重尾导致一阶或二阶矩不存在时，如何为和推导集中不等式？
• RQ3 能否为具有幂律尾部的分量的和推导出更紧致且更实用的集中界，特别是在组合问题中常见的非同分布情形下？
• RQ4 当 $\alpha > 1$ 时，此类和的精确高概率偏差尺度是什么？其依赖于 $\alpha$ 的方式如何？
• RQ5 现有概率论中的一般集中结果在多大程度上可被适配并简化，以用于离散的组合应用？

主要发现

• 当 $\alpha_r \leq 1$ 时，和 $S_n$ 无有限期望，但以高概率满足 $|S_n| = O(n^{1/\alpha_r + \epsilon})$，对任意 $\epsilon > 0$，尾部概率受 $(V + e^{2V})n^{-\alpha_r \epsilon}$ 控制。
• 当 $\alpha_r, \alpha_\ell > 1$ 时，和 $S_n$ 具有有限均值，且以高概率满足偏差界：$\Pr[|S_n - \mathbb{E}S_n| \geq n^{\max(1/\alpha, 1/2) + \epsilon}] \leq Vn^{1 - \max(1, \alpha/2) - \alpha\epsilon} + e^{2V}n^{-\alpha\epsilon}$，其中 $\alpha = \min(\alpha_r, \alpha_\ell)$。
• 右尾界的推导基于指数矩方法，并通过优化矩参数 $\mu$ 实现对尾部的紧密控制，关键在于 $\mathcal{K}(\mu, x)$。
• 左尾通过变换对称性分析：将 $X_i$ 替换为 $-X_i$ 并应用右尾结果，得到类似界，常数为 $W$。
• 推论 4 表明，对于同分布且 $\alpha > 1$ 的变量，存在常数 $C > 0$，使得以高概率有 $|S_n - \mathbb{E}S_n| \leq Cn^{\max(1/\alpha, 1/2)}$。
• 该结果适用于一大类分布，包括具有指数衰减和幂律尾部的分布，因此在真实世界和组合建模中具有实用性。