[논문 리뷰] A tail inequality for quadratic forms of subgaussian random vectors

Daniel Hsu, Sham M. Kakade외 1명|arXiv (Cornell University)|2011. 10. 13.

Approximation Theory and Sequence Spaces참고 문헌 3인용 수 7

한 줄 요약

이 논문은 하위가우시안 랜덤 벡터의 이차형식에 대해 날카운 尾 꼬리 부등식을 수립하며, $\rVert Ax\rVert^2$ 가 기대값에서 벗어나는 정도가 가우시안 경우와 유사한 하위가우시안 꼬리 bound를 따르는 것을 증명한다. 핵심 결과는 꼬리 부등식에 대해 명시적이고 최적의 상수를 제공하며, 하위가우시안 매개수 $\sigma = 1$ 일 때 가우시안 경우와 정확히 일치한다. 이는 하위가우시안 모멘트 조건 하에 일반적인 양의 준정적 이차형식에 적용 가능하다.

ABSTRACT

We prove an exponential probability tail inequality for positive semidefinite quadratic forms in a subgaussian random vector. The bound is analogous to one that holds when the vector has independent Gaussian entries.

연구 동기 및 목표

• 하위가우시안 랜덤 벡터 $x$ 에 대해 이차형식 $\rVert Ax\rVert^2$ 에 하위가우시안 꼬리 부등식을 유도하는 것.
• 독립 동일분포 가우시안 벡터에 대해 알려진 꼬리 부등식을 하위가우시안 설정으로 일반화하고, 명시적이고 최적의 상수를 포함하는 것.
• 가우시안 꼬리 부등식의 형태와 날카움을 그대로 유지하는 깔끔하고 독립적인 증명을 제공하는 것.
• 하위가우시안 가정 하에 $\rVert Ax\rVert^2$ 의 모멘트 생성 함수에 대한 바ounds 를 수립하여 농도 부등식을 가능하게 하는 것.

제안 방법

• 독립적인 표준 가우시안 벡터 $z$ 를 도입하여 모멘트 생성 함수의 바ounds 를 구하기 위해 가우시안 비교 기법을 사용하는 것.
• 측도 변화와 하위가우시안 성질에 기반한 모멘트 생성 함수 바ounds 를 적용하는 것.
• Laurent 및 Massart (2000) 에 의해 유도된 가우시안 벡터에서의 이차형식에 대한 모멘트 생성 함수 바ounds 를 활용하는 것.
• 가중치가 부여된 카이제곱 및 가우시안 변수의 로그 모멘트 생성 함수 추정을 사용하는 것.
• $\varSigma = A^T A$ 에 대해 $\sigma^2$, $\operatorname{tr}(\varSigma)$, $\operatorname{tr}(\varSigma^2)$, $\|\varSigma\|$ 에 의존하는 $\mathbb{E}[\exp(\eta \rVert Ax\rVert^2)]$ 의 상한을 유도하는 것.
• Chernoff 유형의 접근을 적용하여 모멘트 생성 함수 바ounds 를 지수 $e^{-t}$ 를 갖는 꼬리 확률 부등식으로 전환하는 것.

실험 결과

연구 질문

• RQ1 하위가우시안 벡터에서의 이차형식에 대해, 가우시안 경우와 동일한 형태와 상수를 갖는 꼬리 부등식을 도출할 수 있는가?
• RQ2 하위가우시안 $x$ 에 대해 꼬리 부등식이 $\varSigma = A^T A$ 의 트레이스와 스펙트럴 노름에 대해 최적의 의존성을 가지는가?
• RQ3 벡터 $x$ 에 비영인 평균 $\mu$ 가 존재할 경우 $\rVert Ax\rVert^2$ 의 농도에 어떤 영향을 미치는가?
• RQ4 Rademacher 변수와 같은 무거운 尾 꼬리 또는 유한한 하위가우시안 분포에 대해 이 바ounds 를 날카롭게 만들 수 있는가?
• RQ5 하위가우시안 모멘트 조건을 만족하는 $x$ 가 가우시안이 아니어도 유도된 부등식이 날카로운가?

주요 결과

• 논문은 $\sigma = 1$ 이고 $\mu = 0$ 일 때 가우시안 경우와 동일한 형태를 갖는 $\rVert Ax\rVert^2$ 에 대한 꼬리 부등식을 수립한다: $\Pr[\rVert Ax\rVert^2 > \operatorname{tr}(\varSigma) + 2\sqrt{\operatorname{tr}(\varSigma^2)t} + 2\|\varSigma\|t] \leq e^{-t}$.
• 평균 $\mu$ 와 매개수 $\sigma$ 를 갖는 일반적인 하위가우시안 $x$ 에 대해, 꼬리 부등식은 $\|\varSigma\|^2 / \operatorname{tr}(\varSigma^2)$ 를 포함하는 요소로 스케일링된 $\|A\mu\|^2$ 를 추가항으로 포함하며, 이는 평균 이동을 반영한다.
• 이 바ounds 는 Rademacher 및 유한한 하위가우시안 항목에 대해 알려진 하위가우시안 꼬리 행동과 정확히 일치하므로 날카롭다고 할 수 있으며, 이전의 마틴갈 방법에 의한 바ounds 를 향상시킨다.
• 모멘트 생성 함수는 $\eta < 1/(2\sigma^2\|\varSigma\|)$ 에 대해 $\exp\left(\sigma^2 \operatorname{tr}(\varSigma)\eta + \frac{\sigma^4 \operatorname{tr}(\varSigma^2)\eta^2 + \|A\mu\|^2 \eta}{1 - 2\sigma^2 \|\varSigma\| \eta}\right)$ 로 바ounds 되며, 이는 꼬리 부등식을 가능하게 한다.
• 하위가우시안 잡음이 있는 고정 설계 선형 회귀에서 초과 위험 $R(\hat{\beta})$ 는 $\Pr[R(\hat{\beta}) > \sigma^2(d + 2\sqrt{dt} + 2t)/n] \leq e^{-t}$ 를 만족하며, 이는 가우시안 경우와 정확히 일치한다.
• 유도된 바ounds 는 기대값에서 날카롭고, 하위가우시안 이차형식에서 관찰된 $O(\sqrt{t})$ 와 $O(t)$ 의 편차 항과 정확히 일치한다.