[논문 리뷰] A short note on the tail bound of Wishart distribution

Shenghuo Zhu|arXiv (Cornell University)|2012. 12. 24.

Probability and Risk Models참고 문헌 5인용 수 13

한 줄 요약

이 논문은 i.i.d. 다변량 정규 벡터의 표본 공분산 행렬에 대한 기존의 농도 불등식에서 상수를 개선하여 위샤르트 분포에 대한 더 날카운 꼬리 경계를 제공한다. 행렬 베르누이 불등식과 모멘트 생성 함수 분석을 사용하여 고유값과 스펙트럼 노름의 편차에 대한 개선된 고확률 경계를 유도하며, 진짜 공분산 행렬의 조건수와 추적 대 스펙트럼 노름 비율에 명시적인 의존성을 포함한다.

ABSTRACT

We study the tail bound of the emperical covariance of multivariate normal distribution. Following the work of (Gittens & Tropp, 2011), we provide a tail bound with a small constant.

연구 동기 및 목표

• 기존의 위샤르트 분포 꼬리 경계에서 상수를 개선하여 고차원 공분산 추정에서 실용적인 날카러움을 향상시키는 것.
• 표본 공분산 행렬의 고유값과 스펙트럼 노름에 대한 더 날카운 고확률 농도 불등식을 제공하는 것.
• 진짜 공분산 행렬의 조건수와 추적 대 스펙트럼 노름 비율과 같은 구조적 매개변수에 대한 의존성을 개선하는 것.
• 기존의 Gittens(2011) 결과를 확장하고 개선하여 편차 경계의 상수를 줄이되 날카러움을 유지하는 것.

제안 방법

• 독립적이고 평균이 0인 랜덤 행렬에 대해 정교한 모멘트 생성 함수 조건을 갖춘 행렬 베르누이 불등식을 사용하여 꼬리 경계를 유도한다.
• Birgé(1998)의 보조정리 2를 적용하여 모멘트 생성 함수 경계를 명시적인 상수를 갖는 꼬리 확률 경계로 변환한다.
• 이서리스 정리를 사용하여 가우시안 벡터에서의 이차 형식의 고차 모멘트를 계산하고, 추적 및 스펙트럼 노름 항목을 통해 이를 근사한다.
• 중앙화된 위샤르트 성분의 p차 모멘트가 $ \frac{p!}{2} B^{p-2} \Sigma_2 $ 이하로 유 bounds됨을 증명하며, 여기서 $ B $와 $ \Sigma_2 $ 는 진짜 공분산 행렬의 추적과 스펙트럼 노름에 따라 달라진다.
• 웨일의 정리를 사용하여 표본 공분산의 고유값 편차를 편차 행렬의 스펙트럼 노름과 연결한다.
• 행렬 농도와 고유값의 교차성 및 조건수 스케일링을 결합하여 집합적이고 개별적인 고유값 농도 경계를 유도한다.

실험 결과

연구 질문

• RQ1 위샤르트 분포의 꼬리 경계에서 상수를 줄일 수 있을까? 이를 통해 고차원 공분산 추정에서 실용적인 날카러움을 향상시킬 수 있는가?
• RQ2 조건수 $ \kappa_\ell $ 와 추적 대 스펙트럼 노름 비율 $ r $ 이 표본 공분산 행렬의 개별 고유값의 농도에 어떤 영향을 미치는가?
• RQ3 위샤르트 분포를 따르는 행렬에 대한 행렬 농도에서 편차 규모와 꼬리 확률 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 모멘트 생성 함수 분석을 정교화하여 최대 고유값과 스펙트럼 노름에 대해 더 날카운 경계를 도출할 수 있는가?
• RQ5 특히 스칼라 경우 또는 $ d=1 $ 일 때, 기존의 결과와 비교해 새로운 경계는 어떻게 되는가?

주요 결과

• 논문은 집합적 고유값 경계를 확립한다: $ \Pr\left\{ \left| \lambda_\ell(\frac{1}{n}S) - \lambda_\ell(C) \right| \geq \left( \sqrt{\frac{2\theta \kappa_\ell^2 (r+1)}{n}} + \frac{2\theta \kappa_\ell r}{n} \right) \lambda_\ell(C) \right\} \leq 2d \exp(-\theta) $, 여기서 $ r = \mathrm{tr}(C)/\|C\| $ 이고 $ \kappa_\ell = \lambda_1(C)/\lambda_\ell(C) $ 이다.
• 스펙트럼 노름에 대해, $ \Pr\left\{ \left\| \frac{1}{n}S - C \right\| \geq \left( \sqrt{\frac{2\theta(r+1)}{n}} + \frac{2\theta r}{n} \right) \|C\| \right\} \leq 2d \exp(-\theta) $ 를 증명하며, 이는 이전 상수를 개선한다.
• 최대 고유값 편차에 대한 경계는 $ \Pr\left\{ \lambda_1(\frac{1}{n}S - C) \geq \left( \sqrt{\frac{2\theta(r+1)}{n}} + \frac{2\theta r}{n} \right) \lambda_1(C) \right\} \leq d \exp(-\theta) $ 이며, 동일한 상수 개선이 이루어진다.
• 개별 고유값에 대해, 논문은 $ \Pr\left\{ \lambda_\ell(\frac{1}{n}S) \geq \left(1 + \sqrt{\frac{2\theta(\kappa_\ell r_\ell + 2)}{n}} + \frac{2\theta \kappa_\ell r_\ell}{n} \right) \lambda_\ell(C) \right\} \leq (d - \ell + 1) \exp(-\theta) $ 를 도출하며, 여기서 $ r_\ell = \sum_{i=\ell}^d \lambda_i(C)/\lambda_1(C) $ 이다. 이는 개별 고유값에 대한 더 날카운 제어를 보여준다.
• 경계가 스칼라 경우($ d=1, C=1 $)에서 날카로움을 보이며, Laurent(2000)이 유도한 알려진 카이제곱 꼬리 경계를 복원한다.
• 분석을 통해 $ p \geq 2 $ 일 때 모멘트 전개에서 싱글턴 체인 항의 수가 전체 항의 3분의 1 미만임을 확인하였으며, 이는 모멘트 추정에서 추적 기반 경계의 지배적 역할을 정당화한다.