[논문 리뷰] Hoeffding's inequality for sums of weakly dependent random variables

Christos Pelekis, Jan Ramon|arXiv (Cornell University)|2015. 07. 24.

Limits and Structures in Graph Theory참고 문헌 22인용 수 6

한 줄 요약

이 논문은 [0,1]-값을 가진 약하게 종속된 랜덤 변수들의 합에 대해 허프딩 부등식을 확장하며, 곱 기대값에 대한 새로운 모멘트 조건을 도입한다. 일반화된 종속성 구조 하에서 날카운 농도 경계를 확립하여 마팅게일 차분, k-독립 변수, U-통계량, 무작위 그래프 등에의 응용을 가능하게 하며, 에르되시-레니 그래프와 G(n,m) 무작위 그래프에서 삼각형 및 클리크 수에 대한 핵심 결과를 도출한다.

ABSTRACT

We provide a systematic approach to deal with the following problem. Let $X_1,\ldots,X_n$ be, possibly dependent, $[0,1]$-valued random variables. What is a sharp upper bound on the probability that their sum is significantly larger than their mean? In the case of independent random variables, a fundamental tool for bounding such probabilities is devised by Wassily Hoeffding. In this paper we consider analogues of Hoeffding's result for sums of dependent random variables for which we have certain information on their dependency structure. We prove a result that yields concentration inequalities for several notions of weak dependence between random variables. Additionally, we obtain a new concentration inequality for sums of, possibly dependent, $[0,1]$-valued random variables, $X_1,\ldots,X_n$, that satisfy the following condition: there exist constants $γ\in (0,1)$ and $δ\in (0,1]$ such that for every subset $A\subseteq \{1,\ldots,n\}$ we have $\mathbb{E}\left[\prod_{i\in A} X_i \prod_{i otin A}(1-X_i) ight]\leq γ^{|A|} δ^{n-|A|}$, where $|A|$ denotes the cardinality of $A$. Our approach applies to several sums of weakly dependent random variables such as sums of martingale difference sequences, sums of $k$-wise independent random variables and $U$-statistics. Finally, we discuss some applications to the theory of random graphs.

연구 동기 및 목표

• 독립성이 성립하지 않을 때 종속된 유계 랜덤 변수들의 합에 대해 날카운 농도 부등식이 부족한 문제를 해결한다.
• 종속된 [0,1]-값을 가진 랜덤 변수들의 합이 평균을 크게 초과할 확률을 제한하기 위한 체계적인 프레임워크를 제공한다.
• 독립성 이외의 조건으로 허프딩 부등식을 일반화하기 위해, 지표와 여집합의 곱 기대값에 기반한 종속성 조건을 도입한다.
• 마팅게일 차분, k-독립 변수, U-통계량과 같은 약하게 종속된 변수의 중요한 클래스에 대해 농도 경계를 가능하게 한다.
• 에르되시-레니 및 G(n,m) 무작위 그래프 모델에 프레임워크를 적용하여 삼각형 및 4-클리크와 같은 부분그래프 수에 대한 새로운 尾 확률 경계를 유도한다.

제안 방법

• 종속성 조건 도입: 임의의 부분집합 A ⊆ [n]에 대해 E[∏_{i∈A} X_i ∏_{i∉A} (1−X_i)] ≤ γ^|A| δ^{n−|A|} 를 만족하며, 여기서 γ ∈ (0,1), δ ∈ (0,1]이다.
• 모멘트 조건을 사용하여 일반적인 농도 부등식을 유도하고, 칼리브라-라이블러 발산을 통해 표현된 체르노프 유형의 경계를 도출한다.
• 적절한 믹싱 또는 마팅게일 구조 하에서, 마팅게일 차분 수열에 대해 모멘트 조건을 검증한다.
• 조합적 추론을 통해 공통 모멘트를 제한함으로써, k-독립 랜덤 변수와 U-통계량에 대해 모멘트 조건을 검증한다.
• 모멘트 조건과 연결된 간선 및 정점의 종속성 구조를 활용하여, 무작위 그래프의 부분그래프 수에 대한 尾 경계를 도출한다.
• 예를 들어 k개의 삼각형이 유도하는 간선 수에 대한 조합적 경계를 활용하여 효과적인 종속성 구조를 제어하고 날카운 경계를 도출한다.

실험 결과

연구 질문

• RQ1 제한된 종속성 정보만 있을 때, [0,1]-값을 가진 종속된 랜덤 변수들의 합에 대해 허프딩 부등식을 확장할 수 있는가?
• RQ2 X_i와 (1−X_i)의 곱 기대값에 대한 어떤 모멘트 조건이 약하게 종속된 변수들의 합에 대해 날카운 농도 경계를 보장하는가?
• RQ3 제안된 프레임워크를 어떻게 U-통계량과 k-독립 랜덤 변수의 농도 경계 유도에 적용할 수 있는가?
• RQ4 이 프레임워크는 삼각형 및 4-클리프와 같은 부분그래프 수에 대해 어떤 영향을 미치는가?
• RQ5 마팅게일 차분 수열과 무작위 그래프 모델과 같은 실용적 설정에서 모멘트 조건을 검증할 수 있는가?

주요 결과

• 모멘트 조건 E[∏_{i∈A} X_i ∏_{i∉A} (1−X_i)] ≤ γ^|A| δ^{n−|A|} 를 만족하는 [0,1]-값을 가진 랜덤 변수들에 대해 새로운 농도 부등식을 도출하였으며, 평균을 초과하는 편차에 대해 exp(−n D(γ(1+ε) || γ)) 형태의 경계를 얻었다.
• 프레임워크는 독립 변수에 대해 알려진 경계를 복원하며, 마팅게일 차분 및 k-독립 변수와 같은 약하게 종속된 설정으로 확장한다.
• 에르되시-레니 무작위 그래프 G(n,p)에서 4-클리크 수 Q_{n,p}는 P[Q_{n,p} ≥ t] ≤ exp(−binom{n}{4} D(γ(1+ε) || γ)) 를 만족하며, 여기서 γ = p^{12/((n−2)(n−3))} 이다. 이는 비자명한 尾 경계를 제공한다.
• G(n,m) 무작위 그래프에서 고립 정점 수 I_{n,m}는 P[I_{n,m} ≥ t] ≤ min_{0<k<t} binom{n}{k} binom{binom{n−k}{2}}{m} / (binom{t}{k} binom{binom{n}{2}}{m}) 를 만족하며, 마르코프 부등식보다 향상된 결과를 이룬다.
• G(n,m)에서 삼각형 수 T_{n,m}에 대해 P[T_{n,m} ≥ t] ≤ min_{0<k<t} binom{binom{n}{3}}{k} binom{binom{n}{2}−⌊3k/(n−2)⌋}{m−⌊3k/(n−2)⌋} / (binom{t}{k} binom{binom{n}{2}}{m}) 를 확립하였으며, 삼각형 집합에서 기인하는 간선 종속성을 활용하였다.
• 다양한 약하게 종속된 변수 클래스에 대해 모멘트 조건을 검증함으로써, 독립성 외의 광범위한 적용 가능성을 입증하였다.