[논문 리뷰] Exact value for subgaussian norm of centered indicator random variable

E. Ostrovsky, L. Sirota|arXiv (Cornell University)|2014. 05. 26.

Statistical Mechanics and Entropy참고 문헌 7인용 수 18

한 줄 요약

이 논문은 중심화된 지시변수(베르누이) 랜덤 변수에 대한 정확한 서브가우시안 노름을 유도하며, $||η_p||_{Δεβ} = Q(p) = \sqrt{\frac{1-2p}{4\ln((1-p)/p)}}$ 를 증명한다. 이는 $p \in (0,1)$ 에서 성립한다. 이 결과는 서브가우시안 농도 부등식을 통해 독립적이고 동일분포가 아닌 지시변수의 합에 대한 날카운 꼬리 경계를 가능하게 하며, 대칭 케이스 $p = 1/2$ 에서는 향상 불가능함을 입증한다.

ABSTRACT

We calculate the exact subgaussian norm of a centered (shifted) indicator (Bernoulli's) random variable. Using this result we derive very simple tail estimates for sums of these variables, not necessary to be identical distributed, and give some examples to show the exactness of our estimates.

연구 동기 및 목표

• 중앙 지시변수(베르누이) 랜덤 변수 $\eta_p = I(A(p)) - p$ 의 정확한 서브가우시안 노름을 계산하는 것.
• 유도된 노름을 사용하여 독립적이고 동일분포가 아닌 지시변수 랜덤 변수의 합에 대한 날카운 꼬리 확률 경계를 수립하는 것.
• 특히 대칭 케이스 $p = 1/2$ 에서의 구체적 예시를 통한 농도 부등식의 최적성(optimality)을 입증하는 것.
• 비점근 통계학과 고차원 확률론에서 향상된 농도 부등식의 기초를 마련하는 것.

제안 방법

• 중앙 지시변수 변수 $\eta_p = I(A(p)) - p$ 를 정의하며, 이는 확률 $p$ 에서 값 $1-p$ 를, 확률 $1-p$ 에서 값 $-p$ 를 취하여 $\mathbb{E}[\eta_p] = 0$ 이 되도록 보장한다.
• 서브가우시안 노름의 정의를 사용한다: $||\eta_p||_{\text{Sub}} = \sup_{\lambda \neq 0} \sqrt{\ln \mathbb{E}[e^{\lambda \eta_p}]}/|\lambda|$.
• 모멘트 생성 함수를 유도한다: $\mathbb{E}[e^{\lambda \eta_p}] = p e^{\lambda(1-p)} + (1-p) e^{-\lambda p}$.
• 모든 $\lambda \in \mathbb{R}$ 에 대해 부등식 $\mathbb{E}[e^{\lambda \eta_p}] \leq e^{Q^2(p) \lambda^2}$ 를 증명하며, 여기서 $Q(p) = \sqrt{\frac{1-2p}{4\ln((1-p)/p)}}$ 이다.
• 특정 $\lambda_0 = 2\ln\left(\frac{1-p}{p}\right)$ 에서 초과함수를 평가하여 역부등식을 확립함으로써 $||\eta_p||_{\text{Sub}} \geq Q(p)$ 를 보여주며, 이는 노름의 하한을 확인한다.
• 서브가우시안 노름에 대한 삼각부등식을 적용하여, 독립적이고 가중된 중심 지시변수의 합으로 결과를 확장한다: $||\sum c_j \eta_{p(j)}||_{\text{Sub}} \leq \sum |c_j| Q(p(j))$.

실험 결과

연구 질문

• RQ1 중앙 지시변수 랜덤 변수 $\eta_p = I(A(p)) - p$ 의 정확한 서브가우시안 노름은 무엇인가요?
• RQ2 정확한 서브가우시안 노름을 어떻게 활용하여 독립적이고 동일분포가 아닌 지시변수 랜덤 변수의 합에 대해 날카운 꼬리 경계를 도출할 수 있나요?
• RQ3 특정 매개변수 영역, 예를 들어 $p = 1/2$ 에서 유도된 꼬리 경계가 최적성의 의미에서 향상 불가능한가요?
• RQ4 독립적인 중심 지시변수의 합의 서브가우시안 노름은 구성 요소들의 개별 노름을 사용하여 경계를 설정할 수 있으며, 이 경계는 날카로운가요?

주요 결과

• 중앙 지시변수 변수 $\eta_p$ 의 정확한 서브가우시안 노름은 $p \in (0,1)$ 에서 $||\eta_p||_{\text{Sub}} = Q(p) = \sqrt{\frac{1-2p}{4\ln((1-p)/p)}}$ 이며, $Q(0^+) = Q(1^-) = 0$ 이다.
• 합 $S(n) = \sum_{i=1}^n \zeta(i)$ 에 대해 꼬리 경계 $\max[\mathbb{P}(S(n) > x), \mathbb{P}(S(n) < -x)] \leq \exp(-x^2 / (4W^2(n)))$ 가 성립하며, 여기서 $W(n) = \sqrt{\sum_{i=1}^n Q^2(p(i))}$ 이며, 이 경계는 향상 불가능하다.
• 대칭 케이스 $p = 1/2$ 에서 $Q(1/2) = \sqrt{1/8} = 1/(2\sqrt{2})$ 이며, 이 경계는 고전적 허프딩 부등식과 상수 인자 수준에서 일치한다.
• $p = 1/2$ 에서 정규화된 합 $S(n)/\sqrt{n}$ 은 $\sup_n ||S(n)/\sqrt{n}||_{\text{Sub}} = Q(1/2) = \sqrt{1/8}$ 을 만족하며, 이는 경계의 날카로움을 확인한다.
• 선택된 값 $\lambda_0 = 2\ln\left(\frac{1-p}{p}\right)$ 는 서브가우시안 노름 정의에서 초과함수의 최대값을 달성하며, 이는 $||\eta_p||_{\text{Sub}} = Q(p)$ 를 확인한다.
• 유한 또는 무한 합에 대해 독립적이고 가중된 중심 지시변수의 합에 대해 $||\sum c_j \eta_{p(j)}||_{\text{Sub}} \leq \sum |c_j| Q(p(j))$ 는 유효하며, 대칭 케이스에서 극한에서 등호가 성립한다.