[論文レビュー] Chernoff's Inequality - A very elementary proof

Nathan Linial, Zur Luria|arXiv (Cornell University)|Mar 30, 2014

Graph theory and applications参考文献 1被引用数 11

ひとこと要約

本稿では、組み合わせ的重み付けとインジケータ変数の分析を用いて、Chernoffの不等式の強化版に対する簡素で初等的な証明を提示する。弱い従属性の仮定の下で、インジケータ確率変数の和の裾確率に対してタイトな境界を確立し、$ e^{-D(\beta\|\alpha)n} $ の形の指数的減衰率をもたらす。ここで $ D(\beta\|\alpha) $ はKullback-Leibler発散である。

ABSTRACT

Most types of messages we transmit (e.g., video, audio, images, text) are not fully compressed, since they do not have known efficient and information theoretically optimal compression algorithms. When transmitting such messages, standard error correcting codes fail to take advantage of the fact that messages are not fully compressed. We show that in this setting, it is sub-optimal to use standard error correction. We consider a model where there is a set of "valid messages" which the sender may send that may not be efficiently compressible, but where it is possible for the receiver to recognize valid messages. In this model, we construct a (probabilistic) encoding procedure that achieves better tradeoffs between data rates and error-resilience (compared to just applying a standard error correcting code). Additionally, our techniques yield improved efficiently decodable (probabilistic) codes for fully compressed messages (the standard setting where the set of valid messages is all binary strings) in the high-rate regime.

研究の動機と目的

• 強化されたChernoff型不等式の簡単で自己完結的な証明を提供すること。
• 最小限の仮定の下で、従属するインジケータ確率変数の和の裾の境界を導出すること。
• 独立同一分布の要件を緩和することで、古典的なChernoffの境界を一般化すること。
• 組み合わせ的恒等式とエントロピーに基づく推定を用いてタイトな境界を確立すること。

提案手法

• インジケータ変数の同時実現を表すために、重み $ w_S = \Pr(X_i = 1 \iff i \in S) $ を定義する。
• 裾確率 $ \Pr(\sum X_i \geq \beta n) $ を、$ |T| \geq \beta n $ を満たす集合 $ T $ の和として表現する。
• 二項係数の増加性を活用して、$ |T| \geq \beta n $ のもとで $ \binom{|T|}{k} \geq \binom{\beta n}{k} $ が成り立つことを用いる。
• $ |S| = k $ の集合 $ S $ について二重数え上げを適用し、$ \sum_T w_T $ を $ \sum_{|S|=k} \Pr(\bigwedge_{i \in S} X_i = 1) $ に関連付ける。
• 標準的な二項係数の推定を用いて、仮定 $ \Pr(\bigwedge_{i \in S} X_i = 1) \leq \alpha^k $ の下で、比 $ \binom{n}{k} / \binom{\beta n}{k} $ を $ e^{-D(\beta\|\alpha)n} $ で上界付ける。
• 等号が成立する条件が $ \Pr(\sum X_i = \beta n \text{ または } \sum X_i < k) = 1 $ のときに限ることを示すことにより、タイトさを確立する。

実験結果

リサーチクエスチョン

• RQ1 インジケータ変数の従属構造に最小限の仮定をおくことで、Chernoffの不等式を証明できるか？
• RQ2 従属するインジケータ変数の和の裾確率に対する、最もタイトな境界は何か？
• RQ3 任意の $ k $ 個の変数が1である同時確率が $ \alpha^k $ で上界付けられるとき、境界はどのように変化するか？
• RQ4 どのような条件下で、境界 $ e^{-D(\beta\|\alpha)n} $ がタイトになるか？

主な発見

• 独立性の仮定なしに、不等式 $ \Pr(\sum X_i \geq \beta n) \leq \frac{1}{\binom{\beta n}{k}} \sum_{|S|=k} \Pr(\bigwedge_{i \in S} X_i = 1) $ が成り立つ。
• すべての $ k $ を持つ $ S $ に対して $ \Pr(\bigwedge_{i \in S} X_i = 1) \leq \alpha^k $ が成り立つとき、$ k = \left(\frac{\beta - \alpha}{1 - \alpha}\right)n $ ならば、裾確率は $ e^{-D(\beta\|\alpha)n} $ で上界付けられる。
• 境界 $ e^{-D(\beta\|\alpha)n} $ は、標準的なエントロピー推定による二項係数の推定から導出される。
• 不等式はタイトである：等号が成立するのは、$ \Pr(\sum X_i = \beta n \text{ または } \sum X_i < k) = 1 $ のときに限る。
• 結果は、独立同一分布の仮定を、同時確率に関するより弱いモーメント型制約に緩和することで、古典的なChernoffの境界を一般化する。