[논문 리뷰] Chernoff's Inequality - A very elementary proof

Nathan Linial, Zur Luria|arXiv (Cornell University)|2014. 03. 30.

Graph theory and applications참고 문헌 1인용 수 11

한 줄 요약

이 논문은 조합적 가중치와 지표 변수 분석을 사용하여 체르노프 부등식의 강화된 형태에 대한 간단하고 기본적인 증명을 제시한다. 약한 종속성 조건 하에서 지표 랜덤 변수 합의 꼬리 확률에 대한 날카운 경계를 확립하여, $ e^{-D(\beta\|\alpha)n} $ 형태의 지수 감쇠율을 도출한다. 여기서 $ D(\beta\|\alpha) $ 는 킬블러-라이블러 발산이다.

ABSTRACT

Most types of messages we transmit (e.g., video, audio, images, text) are not fully compressed, since they do not have known efficient and information theoretically optimal compression algorithms. When transmitting such messages, standard error correcting codes fail to take advantage of the fact that messages are not fully compressed. We show that in this setting, it is sub-optimal to use standard error correction. We consider a model where there is a set of "valid messages" which the sender may send that may not be efficiently compressible, but where it is possible for the receiver to recognize valid messages. In this model, we construct a (probabilistic) encoding procedure that achieves better tradeoffs between data rates and error-resilience (compared to just applying a standard error correcting code). Additionally, our techniques yield improved efficiently decodable (probabilistic) codes for fully compressed messages (the standard setting where the set of valid messages is all binary strings) in the high-rate regime.

연구 동기 및 목표

• 강화된 체르노프 유형 부등식에 대한 간단하고 자가 포함된 증명을 제공하는 것.
• 최소한의 가정 하에서 종속된 지표 랜덤 변수 합의 꼬리 경계를 도출하는 것.
• 독립성과 동일분포 조건을 완화하여 고전적 체르노프 경계를 일반화하는 것.
• 조합 항등식과 엔트로피 기반 추정을 사용하여 날카운 경계를 확립하는 것.

제안 방법

• 지표 변수의 동시 결과를 나타내기 위해 $ w_S = \Pr(X_i = 1 \iff i \in S) $ 라는 가중치를 정의한다.
• 꼬리 확률 $ \Pr(\sum X_i \geq \beta n) $ 을 $ |T| \geq \beta n $ 인 집합 $ T $ 에 대한 합으로 표현한다.
• 항등식 $ \binom{|T|}{k} \geq \binom{\beta n}{k} $ 를 $ |T| \geq \beta n $ 인 경우에 활용하여 이항 계수의 증가성을 이용한다.
• 크기가 $ k $ 인 집합 $ S $ 에 대해 이중 세는 기법을 적용하여 $ \sum_T w_T $ 와 $ \sum_{|S|=k} \Pr(\bigwedge_{i \in S} X_i = 1) $ 를 연결한다.
• 표준적인 이항 계수 추정을 사용하여 $ \Pr(\bigwedge_{i \in S} X_i = 1) \leq \alpha^k $ 라는 가정 하에 비율 $ \binom{n}{k} / \binom{\beta n}{k} $ 를 $ e^{-D(\beta\|\alpha)n} $ 로 경계한다.
• 등호가 성립하는 조건을 보여줌으로써 경계의 날카움을 입증한다: 등호는 $ \Pr(\sum X_i = \beta n \text{ 또는 } \sum X_i < k) = 1 $ 일 때에만 성립한다.

실험 결과

연구 질문

• RQ1 지표 변수의 종속성 구조에 대해 최소한의 가정만으로 체르노프 부등식을 증명할 수 있는가?
• RQ2 종속된 지표 랜덤 변수 합의 꼬리 확률에 대해 가능한 한 날카운 경계는 무엇인가?
• RQ3 임의의 $ k $-집합의 변수들이 모두 1일 확률이 $ \alpha^k $ 로 유계일 때 경계는 어떻게 변하는가?
• RQ4 $ e^{-D(\beta\|\alpha)n} $ 경계가 날카로워지는 조건은 무엇인가?

주요 결과

• 독립성 가정 없이도 부등식 $ \Pr(\sum X_i \geq \beta n) \leq \frac{1}{\binom{\beta n}{k}} \sum_{|S|=k} \Pr(\bigwedge_{i \in S} X_i = 1) $ 가 성립한다.
• 모든 크기가 $ k = \left(\frac{\beta - \alpha}{1 - \alpha}\right)n $ 인 집합 $ S $ 에 대해 $ \Pr(\bigwedge_{i \in S} X_i = 1) \leq \alpha^k $ 라면, 꼬리 확률은 $ e^{-D(\beta\|\alpha)n} $ 로 경계된다.
• 경계 $ e^{-D(\beta\|\alpha)n} $ 는 표준적인 이항 계수의 엔트로피 추정을 통해 유도된다.
• 이 부등식은 날카롭다: 등호는 $ \Pr(\sum X_i = \beta n \text{ 또는 } \sum X_i < k) = 1 $ 이면 오직 그 때에만 성립한다.
• 결과는 독립적이고 동일하게 분포된 조건을 완화하여, 공동 확률에 대한 더 약한 모멘트 유사 조건으로 고전적 체르노프 경계를 일반화한다.