[论文解读] Exact value for subgaussian norm of centered indicator random variable

E. Ostrovsky, L. Sirota|arXiv (Cornell University)|May 26, 2014

Statistical Mechanics and Entropy参考文献 7被引用 18

一句话总结

本文推导出中心化指示器（伯努利）随机变量的精确次高斯范数，证明了当 $ p \in (0,1) $ 时，$ ||\eta_p||_{\text{Sub}} = Q(p) = \sqrt{\frac{1-2p}{4\ln((1-p)/p)}} $。该结果使得通过次高斯集中不等式，对独立但非同分布的指示器之和实现精确尾部界限成为可能，且在对称情形 $ p = 1/2 $ 下该界限不可改进。

ABSTRACT

We calculate the exact subgaussian norm of a centered (shifted) indicator (Bernoulli's) random variable. Using this result we derive very simple tail estimates for sums of these variables, not necessary to be identical distributed, and give some examples to show the exactness of our estimates.

研究动机与目标

• 计算中心化指示器（伯努利）随机变量 $ \eta_p = I(A(p)) - p $ 的精确次高斯范数。
• 利用推导出的范数，建立独立但非同分布的指示器随机变量之和的精确尾部概率界限。
• 通过具体例子证明所得集中不等式的最优性，特别是在对称情形 $ p = 1/2 $ 下。
• 为非渐近统计与高维概率中的改进集中不等式提供理论基础。

提出的方法

• 定义中心化指示器变量 $ \eta_p = I(A(p)) - p $，其以概率 $ p $ 取值 $ 1-p $，以概率 $ 1-p $ 取值 $ -p $，确保 $ \mathbb{E}[\eta_p] = 0 $。
• 使用次高斯范数的定义：$ ||\eta_p||_{\text{Sub}} = \sup_{\lambda \neq 0} \sqrt{\ln \mathbb{E}[e^{\lambda \eta_p}]}/|\lambda| $。
• 推导矩生成函数：$ \mathbb{E}[e^{\lambda \eta_p}] = p e^{\lambda(1-p)} + (1-p) e^{-\lambda p} $。
• 证明对所有 $ \lambda \in \mathbb{R} $，有不等式 $ \mathbb{E}[e^{\lambda \eta_p}] \leq e^{Q^2(p) \lambda^2} $，其中 $ Q(p) = \sqrt{\frac{1-2p}{4\ln((1-p)/p)}} $。
• 通过在 $ \lambda_0 = 2\ln\left(\frac{1-p}{p}\right) $ 处取上确界，证明 $ ||\eta_p||_{\text{Sub}} \geq Q(p) $，从而完成反向不等式。
• 应用次高斯范数的三角不等式，将结果推广至独立加权中心化指示器之和：$ ||\sum c_j \eta_{p(j)}||_{\text{Sub}} \leq \sum |c_j| Q(p(j)) $。

实验结果

研究问题

• RQ1 中心化指示器随机变量 $ \eta_p = I(A(p)) - p $ 的次高斯范数的确切值是什么？
• RQ2 如何利用精确的次高斯范数推导出独立但非同分布的指示器随机变量之和的紧致尾部界限？
• RQ3 在特定参数范围（如 $ p = 1/2 $）下，所推导的尾部界限是否具有最优性，即不可改进？
• RQ4 能否通过其分量的次高斯范数来界定独立中心化指示器之和的次高斯范数，且该界限是否紧致？

主要发现

• 对于 $ p \in (0,1) $，中心化指示器变量 $ \eta_p $ 的精确次高斯范数为 $ ||\eta_p||_{\text{Sub}} = Q(p) = \sqrt{\frac{1-2p}{4\ln((1-p)/p)}} $，且满足 $ Q(0^+) = Q(1^-) = 0 $。
• 对于和 $ S(n) = \sum_{i=1}^n \zeta(i) $，尾部界限 $ \max[\mathbb{P}(S(n) > x), \mathbb{P}(S(n) < -x)] \leq \exp(-x^2 / (4W^2(n))) $ 成立，其中 $ W(n) = \sqrt{\sum_{i=1}^n Q^2(p(i))} $，且该界限不可改进。
• 在对称情形 $ p = 1/2 $ 时，$ Q(1/2) = \sqrt{1/8} = 1/(2\sqrt{2}) $，且该界限与经典霍夫丁不等式在常数因子范围内一致。
• 当 $ p = 1/2 $ 时，归一化和 $ S(n)/\sqrt{n} $ 满足 $ \sup_n ||S(n)/\sqrt{n}||_{\text{Sub}} = Q(1/2) = \sqrt{1/8} $，确认了界限的紧致性。
• 选择 $ \lambda_0 = 2\ln\left(\frac{1-p}{p}\right) $ 可使次高斯范数定义中的上确界达到，从而确认 $ ||\eta_p||_{\text{Sub}} = Q(p) $。
• 对于任意有限或无限个独立加权中心化指示器之和，估计式 $ ||\sum c_j \eta_{p(j)}||_{\text{Sub}} \leq \sum |c_j| Q(p(j)) $ 成立，且在对称情形的极限下取等。