[논문 리뷰] Concentration of quadratic forms under a Bernstein moment assumption

Pierre Bellec|arXiv (Cornell University)|2019. 01. 25.

Analytic Number Theory Research참고 문헌 7인용 수 13

한 줄 요약

이 논문은 두 번째 모멘트에 베르누이 타입의 모멘트 조건을 만족할 때, 독립적인 서브가우시안 랜덤 변수에 대한 이차형식에 대해 더 날카운 농도 부등식을 수립한다. 구성 요소의 모멘트가 베르누이 조건을 만족한다고 가정할 경우, 한슨-하우이트 부등식의 분산 항은 $K^2\|A\|_{\mathrm{F}}\sqrt{x}$에서 $8\sqrt{3}K\|AD_\sigma\|_{\mathrm{F}}\sqrt{x}$로 개선되며, 이는 이 조건 하에서 더 날카로운 尾 확률 바운드를 제공한다.

ABSTRACT

A concentration result for quadratic form of independent subgaussian random variables is derived. If the moments of the random variables satisfy a "Bernstein condition", then the variance term of the Hanson-Wright inequality can be improved. The Bernstein condition is satisfied, for instance, by all log-concave subgaussian distributions.

연구 동기 및 목표

• 서브가우시안 랜덤 변수에 대한 이차형식에 대해 한슨-하우이트 부등식의 분산 항을 개선하기 위해.
• 구성 요소의 두 번째 모멘트에 대해 베르누이 타입의 모멘트 조건이 만족될 경우 더 날카운 농도 바운드를 수립하기 위해.
• 이 모멘트 조건 하에서 분산 항이 $\|A\|_{\mathrm{F}}$ 가 아닌 $\|AD_\sigma\|_{\mathrm{F}}$ 에 따라 척도가 조정됨을 보여주어 더 날카로운 尾 확률 바운드를 이끌어내기 위해.
• 구성 요소의 모멘트가 경량 꼬리 특성을 띠는 경우에 한해 고전적 한슨-하우이트 바운드를 초월하는 보다 정교한 농도 부등식을 제공하기 위해.

제안 방법

• 분석은 행렬 $A$ 의 대각선 및 비대각선 성분을 분리하는 이차형식에 대한 디커플링 부등식에 기반한다.
• 증명은 $\mathbb{E}|\xi_i|^{2p}$ 에 대한 베르누이 조건에서 유도된 모멘트 생성 함수의 경계를 사용한다. 이는 고차 모멘트를 $K^2$ 와 $\sigma_i^2$ 를 통해 통제한다.
• 핵심 부등식으로는 $0 \leq 2sK^2 \leq 1$ 인 경우 $\mathbb{E}\exp(s\xi_i) \leq \exp(s^2K^2)$ 와 $\mathbb{E}\exp(s\xi_i^2 - s\sigma_i^2) \leq \exp(s^2\sigma_i^2K^2)$ 이 있다.
• 농도 바운드는 대각선 및 비대각선 부분의 꼬리 행동을 별도로 분석한 후 유니언 바운드를 통해 조합함으로써 유도된다.
• 꼬리 확률 바운드를 $x$ 를 포함한 고확률의 편차 부등식으로 변환하기 위해 변수 변경 기법을 사용한다.
• 최종 바운드는 $\mathbb{P}(\xi^T A \xi - \mathbb{E}[\xi^T A \xi] > t) \leq \exp\left(-\min\left(\frac{t^2}{192K^2\|AD_\sigma\|_{\mathrm{F}}^2}, \frac{t}{256K^2\|A\|_2}\right)\right)$ 로 표현된다.

실험 결과

연구 질문

• RQ1 서브가우시안 구성 요소에 대해 약간의 모멘트 조건이 만족될 경우, 한슨-하우이트 부등식의 분산 항을 개선할 수 있는가?
• RQ2 모멘트 $\xi_i^2$ 에 대해 베르누이 타입의 조건이 성립할 경우, 표준 한슨-하우이트 바운드보다 더 날카운 농도를 보이는가?
• RQ3 스케일링과 날카움 측면에서 $\|AD_\sigma\|_{\mathrm{F}}$ 와 $\|A\|_{\mathrm{F}}$ 사이의 개선된 분산 항은 어떻게 비교되는가?
• RQ4 베르누이 조건 하에서 농도 바운드가 행렬 $A$ 와 서브가우시안 파라미터 $K$ 에 대해 최적의 의존성을 가지는가?

주요 결과

• 모멘트 조건 $\mathbb{E}|\xi_i|^{2p} \leq \frac{1}{2}p!\sigma_i^2K^{2(p-1)}$ 이 만족될 경우, 한슨-하우이트 부등식의 분산 항은 $K^2\|A\|_{\mathrm{F}}\sqrt{x}$ 에서 $8\sqrt{3}K\|AD_\sigma\|_{\mathrm{F}}\sqrt{x}$ 로 개선된다.
• 농도 바운드는 $\mathbb{P}(\xi^T A \xi - \mathbb{E}[\xi^T A \xi] > t) \leq \exp\left(-\min\left(\frac{t^2}{192K^2\|AD_\sigma\|_{\mathrm{F}}^2}, \frac{t}{256K^2\|A\|_2}\right)\right)$ 로 주어진다.
• 작은 편차 $t$ 에 대해 바운드는 $\exp\left(-\frac{t^2}{192K^2\|AD_\sigma\|_{\mathrm{F}}^2}\right)$ 와 같이 행동하며, $\|AD_\sigma\|_{\mathrm{F}} \ll K\|A\|_{\mathrm{F}}$ 일 경우 고전적 한슨-하우이트 바운드 $\exp\left(-c\frac{t^2}{K^4\|A\|_{\mathrm{F}}^2}\right)$ 보다 더 날카롭다.
• 결과는 베르누이 조건을 만족하는 랜덤 변수에 적용되며, 이는 유계 랜덤 변수, 분산이 $K^2$ 로 유계인 서브가우시안 변수, 그리고 로그-볼록 분포의 제곱을 포함한다.
• 핵심 기술 도구로는 $\mathbb{E}\exp(s\xi_i) \leq \exp(s^2K^2)$ 와 $\mathbb{E}\exp(s\xi_i^2 - s\sigma_i^2) \leq \exp(s^2\sigma_i^2K^2)$ 의 모멘트 생성 함수 경계가 유도되고 사용된다.
• 이 조건 하에서 $\|AD_\sigma\|_{\mathrm{F}} \ll \|A\|_{\mathrm{F}}$ 일 경우, 고전적 한슨-하우이트 부등식보다 개선된 바운드가 엄밀히 날카롭게 된다. 이는 분산 $\sigma_i^2$ 가 행렬 요소에 비해 작을 때 발생한다.