[论文解读] Hoeffding's inequality for sums of weakly dependent random variables

Christos Pelekis, Jan Ramon|arXiv (Cornell University)|Jul 24, 2015

Limits and Structures in Graph Theory参考文献 22被引用 6

一句话总结

本文通过在乘积期望上引入一种新颖的矩条件，将霍夫丁不等式推广至弱依赖的 [0,1]-值随机变量。在广义依赖结构下建立了紧致的集中不等式，使该方法可应用于鞅差分、k--wise 独立变量、U-统计量以及随机图模型，特别在埃拉多斯-雷尼（Erdős-Rényi）和 G(n,m) 随机图中对三角形与团的计数提供了关键结果。

ABSTRACT

We provide a systematic approach to deal with the following problem. Let $X_1,\ldots,X_n$ be, possibly dependent, $[0,1]$-valued random variables. What is a sharp upper bound on the probability that their sum is significantly larger than their mean? In the case of independent random variables, a fundamental tool for bounding such probabilities is devised by Wassily Hoeffding. In this paper we consider analogues of Hoeffding's result for sums of dependent random variables for which we have certain information on their dependency structure. We prove a result that yields concentration inequalities for several notions of weak dependence between random variables. Additionally, we obtain a new concentration inequality for sums of, possibly dependent, $[0,1]$-valued random variables, $X_1,\ldots,X_n$, that satisfy the following condition: there exist constants $γ\in (0,1)$ and $δ\in (0,1]$ such that for every subset $A\subseteq \{1,\ldots,n\}$ we have $\mathbb{E}\left[\prod_{i\in A} X_i \prod_{i otin A}(1-X_i) ight]\leq γ^{|A|} δ^{n-|A|}$, where $|A|$ denotes the cardinality of $A$. Our approach applies to several sums of weakly dependent random variables such as sums of martingale difference sequences, sums of $k$-wise independent random variables and $U$-statistics. Finally, we discuss some applications to the theory of random graphs.

研究动机与目标

• 解决在无法假设独立性时，对依赖有界随机变量之和缺乏紧致集中不等式的问题。
• 为依赖的 [0,1]-值随机变量之和超过其均值显著幅度的尾部概率，提供系统化的边界估计框架。
• 通过基于指示变量及其补数乘积矩的依赖条件，将霍夫丁不等式推广至超越独立性的范围。
• 为鞅差分、k-weise 独立变量和 U-统计量等重要弱依赖变量类提供集中不等式。
• 将该框架应用于随机图模型（埃拉多斯-雷尼图与 G(n,m) 图）以推导子图计数（如三角形与 4-团）的新尾部边界。

提出的方法

• 引入一种依赖条件：对任意子集 A ⊆ [n]，有 E[∏_{i∈A} X_i ∏_{i∉A} (1−X_i)] ≤ γ^|A| δ^{n−|A|}，其中 γ ∈ (0,1)，δ ∈ (0,1]。
• 利用该矩条件推导一般集中不等式，得到基于 Kullback-Leibler 散度的切尔诺夫型边界。
• 通过在适当的混合或鞅结构下验证矩条件，将该框架应用于鞅差分序列。
• 通过组合论证控制联合矩，验证 k-weise 独立随机变量与 U-统计量的矩条件。
• 通过将边与顶点依赖关系与矩条件关联，利用该框架推导随机图中子图计数的尾部边界。
• 借助组合界（如 k 个三角形诱导的边数）控制有效依赖结构，从而导出紧致边界。

实验结果

研究问题

• RQ1 当仅有有限依赖信息时，霍夫丁不等式能否推广至依赖的 [0,1]-值随机变量？
• RQ2 对 X_i 与 (1−X_i) 乘积的联合期望，何种矩条件可确保弱依赖变量之和的紧致集中？
• RQ3 所提出的框架如何应用于推导 U-统计量与 k-weise 独立随机变量的集中边界？
• RQ4 该框架对随机图中的子图计数（如三角形与 4-团）有何影响？
• RQ5 该矩条件在实际场景（如鞅差分序列与随机图模型）中是否可验证？

主要发现

• 推导出满足矩条件 E[∏_{i∈A} X_i ∏_{i∉A} (1−X_i)] ≤ γ^|A| δ^{n−|A|} 的 [0,1]-值随机变量的新集中不等式，对超过均值的偏离，边界形式为 exp(−n D(γ(1+ε) || γ))。
• 该框架在独立变量情况下恢复已知边界，并将其扩展至弱依赖情形，包括鞅差分与 k-weise 独立变量。
• 在埃拉多斯-雷尼随机图 G(n,p) 中，4-团数 Q_{n,p} 满足 P[Q_{n,p} ≥ t] ≤ exp(−binom{n}{4} D(γ(1+ε) || γ))，其中 γ = p^{12/((n−2)(n−3))}，提供非平凡的尾部边界。
• 在 G(n,m) 随机图中，孤立点数 I_{n,m} 满足 P[I_{n,m} ≥ t] ≤ min_{0<k<t} binom{n}{k} binom{binom{n−k}{2}}{m} / (binom{t}{k} binom{binom{n}{2}}{m})，优于马尔可夫不等式。
• 对 G(n,m) 图中三角形计数 T_{n,m}，建立了边界 P[T_{n,m} ≥ t] ≤ min_{0<k<t} binom{binom{n}{3}}{k} binom{binom{n}{2}−⌊3k/(n−2)⌋}{m−⌊3k/(n−2)⌋} / (binom{t}{k} binom{binom{n}{2}}{m})，利用三角形集合带来的边依赖关系。
• 该矩条件在多种弱依赖变量类中得到验证，证明了该框架在独立性之外的广泛应用性。