[논문 리뷰] Concentration Inequalities for Multinoulli Random Variables

Jian Qian, Ronan Fruit외 2명|arXiv (Cornell University)|2020. 01. 30.

Bayesian Methods and Mixture Models참고 문헌 5인용 수 5

한 줄 요약

이 논문은 다항분포 랜덤 변수에 대해 널리 인용된 농도 부등식을 도전하며, 경험 분포가 진짜 분포에서 벗어나는 $\varepsilon$-편차가 기대값에서 $O(\sqrt{S})$ 비례하고, 고차원에서도 이 값 주위로 날카럽게 집중됨을 보여준다. 渐近 분석과 직교 변환에 의한 가우시안 근사 방법을 사용하여, Agrawal과 Jia(2017)에서 주장한 차원에 독립적인 경계—예를 들어 $O(1/\sqrt{n})$ 형태의 경계—가 잘못되었음을 입증한다. 이는 편차가 차원 $S$의 제곱근에 비례해 증가하기 때문이다. 주요 기여는 균일성 조건 하에서 다항분포의 $\ell_1$-이상성에 대해 차원에 의존하는 날카운 경계 부등식을 도출한 것이다.

ABSTRACT

We investigate concentration inequalities for Dirichlet and Multinomial random variables.

연구 동기 및 목표

• 다항분포 랜덤 변수에 대해 차원에 독립적인 농도 부등식의 타당성을 검토하는 것, 특히 $\ell_1$-편차 경계가 차원 $S$에 관계없이 독립적이라고 주장하는 것.
• 균일한 $p$ 조건 하에서 경험 분포와 진짜 다항분포의 차이의 $\ell_1$-노름의 渐近 행동을 분석하는 것.
• 최대 편차 $Z_n = \max_v (\widehat{p}_n - p)^T v$ 가 차원에 독립적인 값 주위로 집중되는지 여부를 판단하는 것.
• 차원 $S$에 대한 진짜 의존성을 반영하는 $Z_n$에 대해 엄밀한 날카운 농도 부등식을 유도하는 것.

제안 방법

• 함수 중심극한정리(Functional Central Limit Theorem)를 적용하여 $n \to \infty$ 일 때 $\sqrt{n} Z_n$ 의 극한 분포를 기술함으로써, 이가 잘라낸 가우시안 벡터로 수렴함을 보임.
• 극한 가우시안 벡터 $Y$ 의 성분들을 분리하기 위해 직교 변환 $U$ 를 적용하여, 첫 $S-1$ 성분이 i.i.d. 표준 정규분포를 가지는 벡터 $W$ 로 변환함.
• 제한된 $Z_S$ 를 표현하기 위해 $1$-Lipschitz 함수 $g(W) = \frac{1}{\sqrt{S}} e_S^T (U^T W)^+$ 를 정의함으로써, 가우시안 농도 분석이 가능하도록 함.
• 가우시안 농도 부등식(Wainwright, 2017)을 활용하여 $Z_S$ 의 하측 꼬리 경계를 유도함으로써, 모든 분위수가 $O(\sqrt{S})$ 비례해 증가함을 보임.
• 정확한 渐近 기대값 $\mathbb{E}[Z_S] = \sqrt{\frac{S-1}{2\pi}}$ 를 도출하여 $\sqrt{S}$ 비례 관계를 확인함.
• $\|\widehat{p}_n - p\|_1 = \frac{2}{D} Z_n$ 이라는 사실을 활용하여 결과를 경험 편차의 $\ell_1$-노름으로 다시 변환함.

실험 결과

연구 질문

• RQ1 Agrawal과 Jia(2017)에서 주장한 농도 부등식 $\mathbb{P}(\|\widehat{p}_n - p\|_1 \geq \sqrt{2 \ln(1/\delta)/n}) \leq \delta$ 는 다항분포에 대해 유효한가?
• RQ2 경험 분포와 진짜 다항분포 사이의 $\ell_1$-이상성은 차원 $S$ 와 독립적으로 척도가 정해지는가?
• RQ3 균일한 $p$ 조건 하에서 $n \to \infty$ 일 때 $\mathbb{E}[\|\widehat{p}_n - p\|_1]$ 의 渐近 행동은 어떠한가?
• RQ4 $Z_n = \max_v (\widehat{p}_n - p)^T v$ 의 농도가 고차원에서 정확히 특징지어질 수 있는가?

주요 결과

• 제한된 랜덤 변수 $Z_S = \lim_{n \to \infty} \sqrt{n} Z_n$ 의 기대값은 $\sqrt{\frac{S-1}{2\pi}}$ 비례하여 증가함을 확인하여, $O(\sqrt{S})$ 의 차원 의존성이 있음을 확인함.
• 제한된 랜덤 변수 $Z_S$ 는 기대값 주위로 날카럽게 집중되어 있으며, 높은 확률로 기대값에서 $O(\sqrt{\log(1/\delta)})$ 이내에 존재함.
• 논문은 $\mathbb{P}\left(Z_S \geq \sqrt{\frac{2(S-1)}{\pi}} - \sqrt{2 \log(2/\delta)} \right) \geq 1 - \delta$ 를 증명하여, 모든 분위수가 $O(\sqrt{S})$ 비례해 증가함을 보임.
• Agrawal과 Jia(2017)의 부등식은 편차의 $\sqrt{S}$ 비례 성장을 고려하지 못했기 때문에 잘못되었으며, 이는 균일한 $p$ 조건 하에서 피할 수 없는 현상임.
• 경험 편차의 $\ell_1$-노름 $\|\widehat{p}_n - p\|_1$ 은 기대값에서 $\Theta(\sqrt{S/n})$ 비례하며, 차원에 독립적인 경계에서 주장한 바와 같이 $O(1/\sqrt{n})$ 이 아님.
• 분석을 통해 다항분포의 $\ell_1$-편차에 대한 차원에 독립적인 농도 부등식은 일반적으로 성립하지 않으며, 특히 균일한 $p$ 조건 하에서는 성립하지 않음이 확인됨.