[논문 리뷰] Subgaussian and strictly subgaussian random variable

E. Ostrovsky, L. Sirota|arXiv (Cornell University)|2014. 06. 16.

Image and Signal Denoising Methods참고 문헌 16인용 수 4

한 줄 요약

이 논문은 하위가우시안(norm)이 표준편차와 정확히 일치하는 하위가우시안(Strictly Subgaussian, SSub) 랜덤 변수를 정의하고 분석하며, 독립적이지만 동일분포가 아닐 수 있는 SSub 랜덤 변수들의 합에 대해 정확한 지수 꼬리 경계를 제공한다. 주요 기여는 SSub 랜덤 변수의 혼합이 여전히 엄격하게 하위가우시안임을 증명하고, 감마 함수 부등식과 모멘트 생성 함수 분석을 통해 엄격한 하위가우시안성의 새로운 충분조건을 도출하는 것이다.

ABSTRACT

We study in this report the so-called Strictly Subgaussian (SSub) random variables (r.v.), which form a very interest subclass of Subgaussian (Sub) r.v., and obtain the exact exponential bounds for tail of distribution for sums of independent and disjoint such a variables, not necessary to be identical distributed, and give some new examples of SSub variables to show the exactness of our estimates. We extend also these results on the case of sums of subgaussian martingale differences, and show that the mixture of (Strictly) Subgaussian r.v. forms also (Strictly) subgaussian variable.

연구 동기 및 목표

• 하위가우시안 랜덤 변수의 하위집단으로서 하위가우시안 노름이 표준편차와 일치하는 엄격하게 하위가우시안(Strictly Subgaussian, SSub) 랜덤 변수를 정의하고 특성화하는 것.
• 동일분포가 아닐 수 있는 독립적인 SSub 랜덤 변수들의 합에 대해 날카로운 지수 꼬리 경계를 유도하는 것.
• 하위가우시안 마팅게일 차분의 합으로 결과를 확장하고 혼합에 대한 닫힘 성질을 확립하는 것.
• 대칭 감마 및 균일-가우시안 혼합과 같은 새로운 정확한 SSub 랜덤 변수 예시를 제공하여 유도된 경계의 날카로움을 보여주는 것.

제안 방법

• 모든 $\lambda \in \mathbb{R}$ 에 대해 $\mathbb{E}[e^{\lambda \xi}] \leq e^{\lambda^2 \sigma^2(\xi)/2}$ 를 만족하는 조건을 통해 SSub 랜덤 변수를 정의함으로써, $||\xi||_{\text{Sub}} = \sigma(\xi)$ 를 유도한다.
• 감마 함수 비율에 대한 충분조건을 도출하기 위해 모멘트 생성 함수 분석과 스타링의 근사법을 사용한다.
• 하위가우시안 노름을 통해 꼬리 경계를 확립하며, 독립적인 SSub 랜덤 변수들의 합에 대해 $\max(\mathbb{P}(S(n)/\Sigma(n) > x), \mathbb{P}(S(n)/\Sigma(n) < -x)) \leq e^{-x^2/2}$ 를 보임.
• 볼록 조합 하에서 MGF 조건을 검증함으로써 SSub 랜덤 변수의 혼합이 여전히 SSub임을 증명한다.
• 특정 분포 분석: 대칭 베타, 대칭 감마, 균일-가우시안 혼합; 적분 표현과 감마 함수의 점근적 행동을 사용한다.
• 하위가우시안성 검증을 위해 함수 $\zeta_{\alpha,\beta}(k)$ 를 사용하며, $\beta > 2$ 일 때 모든 $k$ 에 대해 $\zeta_{\alpha,\beta}(k) \leq 1$ 이면 엄격한 하위가우시안성이 보장됨을 보임.

실험 결과

연구 질문

• RQ1 하위가우시안 랜덤 변수가 언제 엄격하게 하위가우시안이 되는가? 즉, 하위가우시안 노름이 표준편차와 일치할 조건은 무엇인가?
• RQ2 독립적이지만 동일분포가 아닐 수 있는 엄격하게 하위가우시안 랜덤 변수들의 합에 대해 정확한 지수 꼬리 경계는 무엇인가?
• RQ3 엄격하게 하위가우시안 랜덤 변수의 클래스는 혼합에 대해 닫혀 있는가? 만약 그렇다면 어떤 조건에서인가?
• RQ4 대칭 감마 분포가 엄격하게 하위가우시안이 되기 위한 필수 및 충분조건은 무엇이며, 이는 형태 및 척도 파라미터에 어떻게 의존하는가?
• RQ5 어떻게 하여 $e^{-x^2/2}$ 꼬리 경계의 날카로움을, 지수적 지지가 없는 경우를 포함한 명시적 예시를 통해 입증할 수 있는가?

주요 결과

• 확률 $\mathbb{P}(\xi_p = 1-p) = p$, $\mathbb{P}(\xi_p = -p) = 1-p$ 를 갖는 중심화된 랜덤 변수 $\xi_p$ 의 하위가우시안 노름은 $||\xi_p||_{\text{Sub}} = \sqrt{\frac{1-2p}{2\ln((1-p)/p)}}$ 로 주어지며, 이는 이산 SSub 랜덤 변수에 대한 정확한 표현을 제공한다.
• 모든 SSub 랜덤 변수 $\xi$ 에 대해 꼬리 경계 $\max(\mathbb{P}(\xi > x), \mathbb{P}(\xi < -x)) \leq e^{-x^2/(2\sigma^2(\xi))}$ 가 성립하며, 이는 가우시안 경우에서 등호에 가까워지는 날카로운 경계이다.
• 독립적인 SSub 랜덤 변수들의 합 $S(n) = \sum_{i=1}^n \xi(i)$ 는 $\max(\mathbb{P}(S(n)/\Sigma(n) > x), \mathbb{P}(S(n)/\Sigma(n) < -x)) \leq e^{-x^2/2}$ 를 만족하며, 여기서 $\Sigma(n)^2 = \sum_{i=1}^n ||\xi(i)||_{\text{Sub}}^2$ 이다. 이는 최적의 농도를 보여준다.
• SSub 랜덤 변수의 혼합은 MGF 조건과 지수 함수의 볼록성에 의해 여전히 엄격하게 하위가우시안임을 증명하였다.
• 형태 파라미터 $\alpha$, 척도 파라미터 $\beta > 2$ 를 갖는 대칭 감마 랜덤 변수 $\gamma_{\alpha,\beta}$ 는 모든 $k \geq 1$ 에 대해 $\zeta_{\alpha,\beta}(k) \leq 1$ 이면 엄격하게 하위가우시안이 된다. 이에 대한 충분조건으로 $G = [(\max(1,G_1)) \cdot G_2]^{\beta/\beta-2)}$ 를 정의하여 $k \geq G$ 에 대해 $\zeta_{\alpha,\beta}(k) \leq 1$ 이 되도록 한다.
• $\alpha = \beta \to \infty$ 일 때, $\sup_{k \geq 1} \zeta_{\beta,\beta}(k) \to 0$ 이며, 이는 큰 $\beta$ 에 대해 $\gamma_{\beta,\beta}$ 가 엄격하게 하위가우시안임을 의미한다. 이는 비가우시안이며 지수적 지지가 없는 SSub 예시를 보여준다.