[논문 리뷰] Concentration inequalities for sums of random variables, each having power bounded tails

Oleksii Omelchenko, Andreĭ A. Bulatov|arXiv (Cornell University)|2019. 03. 06.

Limits and Structures in Graph Theory참고 문헌 15인용 수 4

한 줄 요약

이 논문은 꼬리가 거듭제곱 함수 $x^{-\alpha}$로 지배되는 독립적이고 정수값을 가진 확률변수들의 합에 대한 농도 부등식을 수립한다. $\alpha > 1$이면 합은 높은 확률로 평균 주위에 강하게 집중되며, 편차 bound는 $O(n^{\max(1/\alpha, 1/2)})$를 달성한다; $\alpha \leq 1$이면 합은 유한한 기대값을 가지지 않지만 여전히 높은 확률로 $O(n^{1/\alpha})$ 범위 내에 집중된다.

ABSTRACT

In this work we present concentration inequalities for the sum $S_n$ of independent integer-valued not necessary indentically distributed random variables, where each variable has tail function that can be bounded by some power function with exponent $-α$. We show that when $01$, then the sum $S_n$ is concentrated around its mean. Since the r.vs. that constitute the sum has tails, which can be bounded by some power function, it follows that results of this paper are applicable to a wide range of different distributions, including the exponentially decaying ones.

연구 동기 및 목표

• 독립적이고 동일분포가 아닌 정수값을 가진 확률변수들의 합에 대한 농도 bound를 유도하는 것.
• 특히 고차모멘트(예: 분산 또는 기대값)가 존재하지 않을 때 컴퓨터 과학에서 중량 꼬리 분포에 대한 농도 도구의 부족을 해결하는 것.
• 기존의 확률론적 결과를 실용적으로 조합 문제(예: 무작위 만족 가능성)에 사용할 수 있도록 단순화하고 이산화하는 것.
• 일반적으로 첫 번째 또는 두 번째 모멘트가 무한대가 되는 경우에도 거듭제곱 법칙에 따라 꼬리가 감소하는 개별 변수들이 있을 때의 합에 대해 명시적이고 실용적인 꼬리 bound를 제공하는 것.

제안 방법

• 정수값을 가진 확률변수에 대해 오른쪽 꼬리 함수 $F_{X+}(x) = \Pr[X \geq x]$와 왼쪽 꼬리 함수 $F_{X-}(x) = \Pr[X \leq -x]$를 정의한다.
• 각 변수의 꼬리가 거듭제곱 함수에 의해 지배된다고 가정한다: $F_{X_i+}(x) \leq V x^{-\alpha_r}$, $F_{X_i-}(x) \leq W x^{-\alpha_\ell}$, 여기서 $\alpha_r, \alpha_\ell > 0$이다.
• 모멘트 생성 함수 기법과 지수 이완을 통한 정교한 꼬리 추정을 사용하여 $\mathcal{K}(\mu, x) = \mathbb{E}[e^{\mu S_n} \mathbf{1}_{S_n \geq \mathbb{E}S_n + x}]$를 구 bound한다.
• 최적화된 $\mu$를 사용한 체르노프 유형의 bound를 적용하여 거듭제곱 꼬리 가정을 활용해 꼬리 감쇠 속도를 도출한다.
• 개별 변수의 꼬리 bound를 유니온 바운드와 지수 모멘트 제어를 결합하여 고확률 편차 부등식을 유도한다.
• 대칭성과 변환(예: $X_i' = -X_i$)을 사용하여 오른쪽 꼬리 결과를 평균에서의 왼쪽 꼬리 bound로 확장한다.

실험 결과

연구 질문

• RQ1 개별 변수의 꼬리가 거듭제곱으로 제한되고 지수 $\alpha \leq 1$일 때, 독립적 정수값 확률변수들의 합에서 나타나는 농도 행동은 어떠한가?
• RQ2 첫 번째 또는 두 번째 모멘트가 중량 꼬리로 인해 존재하지 않을 때, 합에 대한 농도 부등식은 어떻게 도출할 수 있는가?
• RQ3 특히 조합 문제에서 흔한 비i.i.d. 설정에서, 거듭제곱 꼬리 성분을 가진 합에 대해 더 날카우며 실용적인 농도 bound를 유도할 수 있는가?
• RQ4 $\alpha > 1$일 때 이러한 합의 정확한 고확률 편차 척도는 무엇이며, 이는 $\alpha$에 어떻게 의존하는가?
• RQ5 기존의 일반적인 농도 결과가 이산적이고 조합적 응용에 적합하도록 어떻게 간소화하고 적응시킬 수 있는가?

주요 결과

• 만약 $\alpha_r \leq 1$이면 합 $S_n$은 유한한 기대값을 가지지 않지만, 임의의 $\epsilon > 0$에 대해 높은 확률로 $|S_n| = O(n^{1/\alpha_r + \epsilon})$이며, 꼬리 확률은 $(V + e^{2V})n^{-\alpha_r \epsilon}$ 이하로 bound된다.
• 만약 $\alpha_r, \alpha_\ell > 1$이면 합 $S_n$은 유한한 평균을 가지며, 높은 확률로 평균에서의 편차가 bound된다: $\Pr[|S_n - \mathbb{E}S_n| \geq n^{\max(1/\alpha, 1/2) + \epsilon}] \leq Vn^{1 - \max(1, \alpha/2) - \alpha\epsilon} + e^{2V}n^{-\alpha\epsilon}$, 여기서 $\alpha = \min(\alpha_r, \alpha_\ell)$이다.
• 오른쪽 꼬리의 bound는 지수 모멘트 방법과 모멘트 매개변수 $\mu$의 최적화를 통해 유도되며, 이는 $\mathcal{K}(\mu, x)$를 통한 꼬리의 엄밀한 제어로 이어진다.
• 왼쪽 꼬리는 대칭성을 통해 분석된다: $X_i$를 $-X_i$로 변환하고 오른쪽 꼬리 결과를 적용함으로써, 상수 $W$를 사용한 유사한 bound를 얻는다.
• 보조정리 4는 i.i.d. 변수에 대해 $\alpha > 1$일 때, 어떤 상수 $C > 0$에 대해 $|S_n - \mathbb{E}S_n| \leq Cn^{\max(1/\alpha, 1/2)}$가 고확률로 성립함을 보여준다.
• 이 결과들은 지수 감쇠와 거듭제곱 꼬리 꼬리 분포를 포함한 광범위한 분포 클래스에 적용 가능하여 실제 세계 및 조합 모델에 유용하다.