[论文解读] Chernoff's Inequality - A very elementary proof

Nathan Linial, Zur Luria|arXiv (Cornell University)|Mar 30, 2014

Graph theory and applications参考文献 1被引用 11

一句话总结

本文使用组合加权和指示变量分析，提出了一种简化且基础的证明方法，针对切诺夫不等式的强化版本。在弱依赖假设下，该方法建立了指示随机变量和的尾部概率的紧致界，其衰减率形式为 $ e^{-D(\beta\|\alpha)n} $，其中 $ D(\beta\|\alpha) $ 为 Kullback-Leibler 散度。

ABSTRACT

Most types of messages we transmit (e.g., video, audio, images, text) are not fully compressed, since they do not have known efficient and information theoretically optimal compression algorithms. When transmitting such messages, standard error correcting codes fail to take advantage of the fact that messages are not fully compressed. We show that in this setting, it is sub-optimal to use standard error correction. We consider a model where there is a set of "valid messages" which the sender may send that may not be efficiently compressible, but where it is possible for the receiver to recognize valid messages. In this model, we construct a (probabilistic) encoding procedure that achieves better tradeoffs between data rates and error-resilience (compared to just applying a standard error correcting code). Additionally, our techniques yield improved efficiently decodable (probabilistic) codes for fully compressed messages (the standard setting where the set of valid messages is all binary strings) in the high-rate regime.

研究动机与目标

• 提供一种简化且自包含的、关于强化版切诺夫型不等式的证明。
• 在最小假设下，推导出依赖指示随机变量和的尾部界。
• 通过放松独立同分布的要求，推广经典切诺夫界。
• 利用组合恒等式和基于熵的估计，建立紧致界。

提出的方法

• 定义权重 $ w_S = \Pr(X_i = 1 \iff i \in S) $，以表示指示变量的联合结果。
• 将尾部概率 $ \Pr(\sum X_i \geq \beta n) $ 表示为所有满足 $ |T| \geq \beta n $ 的集合 $ T $ 的和。
• 利用二项式系数的单调性，应用不等式 $ \binom{|T|}{k} \geq \binom{\beta n}{k} $（当 $ |T| \geq \beta n $ 时）。
• 对大小为 $ k $ 的集合 $ S $ 进行双重计数，将 $ \sum_T w_T $ 与 $ \sum_{|S|=k} \Pr(\bigwedge_{i \in S} X_i = 1) $ 关联起来。
• 在假设 $ \Pr(\bigwedge_{i \in S} X_i = 1) \leq \alpha^k $ 的前提下，利用标准的二项式系数估计，将比值 $ \binom{n}{k} / \binom{\beta n}{k} $ 有界为 $ e^{-D(\beta\|\alpha)n} $。
• 通过证明当且仅当 $ \Pr(\sum X_i = \beta n \text{ 或 } \sum X_i < k) = 1 $ 时等式成立，建立紧致性。

实验结果

研究问题

• RQ1 切诺夫不等式是否可以在对指示变量依赖结构的假设最小化的情况下被证明？
• RQ2 依赖指示变量和的尾部概率的最紧致界是什么？
• RQ3 当任意 $ k $ 个变量同时为 1 的联合概率受 $ \alpha^k $ 限制时，该界如何变化？
• RQ4 在何种条件下，界 $ e^{-D(\beta\|\alpha)n} $ 变得紧致？

主要发现

• 在无独立性假设下，不等式 $ \Pr(\sum X_i \geq \beta n) \leq \frac{1}{\binom{\beta n}{k}} \sum_{|S|=k} \Pr(\bigwedge_{i \in S} X_i = 1) $ 成立。
• 当对所有大小为 $ k = \left(\frac{\beta - \alpha}{1 - \alpha}\right)n $ 的集合 $ S $，有 $ \Pr(\bigwedge_{i \in S} X_i = 1) \leq \alpha^k $ 时，尾部概率被界为 $ e^{-D(\beta\|\alpha)n} $。
• 通过标准的熵估计方法，推导出界 $ e^{-D(\beta\|\alpha)n} $。
• 该不等式是紧致的：当且仅当 $ \Pr(\sum X_i = \beta n \text{ 或 } \sum X_i < k) = 1 $ 时等式成立。
• 该结果通过将 i.i.d. 假设放松为对联合概率的更弱的矩类约束，推广了经典切诺夫界。