[论文解读] Chernoff-Hoeffding Inequality and Applications

Jeff M. Phillips|arXiv (Cornell University)|Sep 27, 2012

Algorithms and Data Compression参考文献 11被引用 18

一句话总结

本文提供了对有界独立随机变量之和的尾部概率进行边界估计的 Chernoff-Hoeffding 不等式的一种简洁推导与应用。它展示了该不等式在证明降维中的 Johnson-Lindenstrauss 引理以及在高维数据中用于密度估计的子集采样中的应用，表明随机投影能以高概率保持成对距离不变，且小规模的随机样本可准确近似高维空间中点的密度。

ABSTRACT

When dealing with modern big data sets, a very common theme is reducing the set through a random process. These generally work by making "many simple estimates" of the full data set, and then judging them as a whole. Perhaps magically, these "many simple estimates" can provide a very accurate and small representation of the large data set. The key tool in showing how many of these simple estimates are needed for a fixed accuracy trade-off is the Chernoff-Hoeffding inequality[Che52,Hoe63]. This document provides a simple form of this bound, and two examples of its use.

研究动机与目标

• 为有界随机变量提供一种清晰、易懂的 Chernoff-Hoeffding 不等式推导。
• 展示其在证明大规模数据降维中 Johnson-Lindenstrauss 引理中的应用。
• 说明如何利用随机采样在具有概率保证的前提下近似高维空间中点的密度。
• 说明并举例说明并集界如何将成对的界限推广为对多组数据对的全局保证。
• 阐明该不等式适用的条件，特别是对偏差参数 α 的取值范围要求。

提出的方法

• 通过矩生成函数和凸性，推导出独立有界随机变量之和的 Chernoff-Hoeffding 不等式。
• 通过将随机投影建模为与随机单位向量的内积之和，将该不等式应用于 Johnson-Lindenstrauss 引理。
• 利用单个投影分量的期望和方差，来界定投影范数与原始范数之间整体偏差的上界。
• 在所有点对之间应用并集界，将成对的概率保证推广为高概率下的全局保证。
• 使用指数矩方法，并利用不等式 $ \frac{1}{2}(e^x + e^{-x}) \leq e^{x^2/2} $ 推导出集中性界限。
• 通过设定 $ \Delta_i = 2\Delta $ 和 $ \mathbb{E}[M] = 0 $，说明定理 1.2 是定理 1.1 的特例。

实验结果

研究问题

• RQ1 需要多少次随机投影才能以高概率保持高维数据中成对距离不变？
• RQ2 能否利用随机采样来准确估计高维长方体中点的数量？
• RQ3 为确保对区域中点密度的高概率近似，所需的最少样本数是多少？
• RQ4 当涉及多个事件时，并集界与集中不等式如何相互作用？
• RQ5 Chernoff-Hoeffding 界在何种最紧条件下仍保持有效，特别是针对偏差参数 α 的取值？

主要发现

• 对于 Johnson-Lindenstrauss 引理，当 $ k = (8/\varepsilon^2)\ln(n/\delta) $ 时，所有成对距离以至少 $ 1-\delta $ 的概率被保持在 $ 1\pm\varepsilon $ 的因子范围内。
• 每个投影分量 $ \phi_i(p) $ 的期望为 $ \mathbb{E}[X_i] = 1/k $，其方差满足 $ \text{Var}[X_i] \leq 1/k^2 $。
• 利用定理 1.3，单个点对所需的维度数为 $ k \geq (4/\varepsilon^2)\ln(2/\gamma) $，而并集界将其提升至所有 $ n^2 $ 对点的 $ k \geq (8/\varepsilon^2)\ln(n/\delta) $。
• 对于子集采样，Chernoff-Hoeffding 界确保大小为 $ O(\log(1/\delta)/\varepsilon^2) $ 的随机样本，能在任意轴对齐长方体内以至少 $ 1-\delta $ 的概率提供对真实计数的 $ (1\pm\varepsilon) $-近似。
• 即使对于独立事件，并集界也几乎是紧的，如当 $ \delta $ 较小时，$ \delta/t $ 与 $ \ln(1/(1-\delta))/t $ 的渐近等价性所示。
• Chernoff-Hoeffding 不等式的证明依赖于指数函数的凸性以及不等式 $ \frac{1}{2}(e^x + e^{-x}) \leq e^{x^2/2} $，该不等式使最终界限的推导成为可能。