[논문 리뷰] Sharp bounds on the rate of convergence of the empirical covariance matrix

Radosław Adamczak, Alexander E. Litvak외 2명|arXiv (Cornell University)|2010. 12. 01.

Point processes and geometric inequalities참고 문헌 7인용 수 47

한 줄 요약

이 논문은 로그볼록성 또는 하중합성 尾 꼬리 분포를 갖는 고차원 난수 벡터에 대해 표본 공분산 행렬의 수렴 속도에 대한 날카운 비점근적 경계를 확립한다. 넷 근사와 모멘트 부등식을 사용하여, 높은 확률로 표본 공분산 행렬의 정규화된 극단적 특이값이 1 주위에 $ C(\psi + K)^2 \sqrt{n/N} $ 정도의 편차 내에 집중됨을 증명한다. 이는 이전에 i.i.d. 요소에 대해서만 알려진 Bai-Yin 정리의 범위를 종속적이거나 비동일분포인 벡터의 광범위한 클래스로 확장한다.

ABSTRACT

Let $X_1,..., X_N\\in\\R^n$ be independent centered random vectors with log-concave distribution and with the identity as covariance matrix. We show that with overwhelming probability at least $1 - 3 \\exp(-c\\sqrt{n}\ )$ one has $ \\sup_{x\\in S^{n-1}} \\Big|\\frac{1/N}\\sum_{i=1}^N (|<X_i, x>|^2 - \\E|<X_i, x>|^2\ )\\Big| \\leq C \\sqrt{\\frac{n/N}},$ where $C$ is an absolute positive constant. This result is valid in a more general framework when the linear forms $(<X_i,x>)_{i\\leq N, x\\in S^{n-1}}$ and the Euclidean norms $(|X_i|/\\sqrt n)_{i\\leq N}$ exhibit uniformly a sub-exponential decay. As a consequence, if $A$ denotes the random matrix with columns $(X_i)$, then with overwhelming probability, the extremal singular values $\\lambda_{\ m min}$ and $\\lambda_{\ m max}$ of $AA^\ op$ satisfy the inequalities $ 1 - C\\sqrt{{n/N}} \\le {\\lambda_{\ m min}/N} \\le \\frac{\\lambda_{\ m max}/N} \\le 1 + C\\sqrt{{n/N}} $ which is a quantitative version of Bai-Yin theorem \\cite{BY} known for random matrices with i.i.d. entries.

연구 동기 및 목표

• 고차원에서 표본 공분산 행렬의 수렴 속도에 대한 비점근적이고 날카운 경계를 확립하기.
• 이전에는 i.i.d. 요소에 대해서만 알려진 Bai-Yin 정리를, 가능하게 종속적이거나 비동일분포인 요소를 갖는 랜덤 행렬로 확장하기.
• 이전 결과에서 로그볼록성 벡터에 대해 나타나는 상수 인자들을 제거하여 최적의 $ \sqrt{n/N} $ 수렴 속도를 달성하기.
• 일반적인 모멘트 및 尾 꼬리 조건 하에서 표본 공분산 행렬 $ AA^T $ 의 극단적 특이값의 집중성 분석하기.
• 표본 공분산 행렬이 항등행렬에서 벗어나는 편차에 대한 정량적, 고확률 경계를 $ n \leq N $ 에 대해 제공하기.

제안 방법

• 연속 집합 위에서의 최대값을 유한한 근사로 제어하기 위해 단위 구면 $ S^{n-1} $ 에서 $ 1/3 $-넷 근사 기법을 사용하기.
• 표본 과정을 세 부분으로 분해: 잘라낸 부분, 중간 꼬리 부분, 큰 편차 부분으로 나누고 각각을 별도로 유계화하기.
• Bernstein 부등식을 적용하여 잘라낸 부분 $ S_1(x) $ 를 제어하며, 선형 형식에 대한 균일한 $ \psi_1 $-노름 유계 조건을 활용하기.
• 이전 연구에서의 정리 2를 활용하여 중간 꼬리 부분 $ S_2(x) $ 를 제어하며, 희소 색인 집합 위에서의 투영의 최대 $ \ell^2 $-노름에 의존하기.
• Hölder 부등식과 $ \psi_1 $-노름 조건에서 유도된 지수 꼬리 유계를 활용하여 큰 편차 부분 $ S_3(x) $ 를 추정하기.
• 합집합 확률과 체이닝 기법을 통해 넷에서 전체 구면으로 제어를 확장하며, 연산자 노름 비교를 사용하기.

실험 결과

연구 질문

• RQ1 비i.i.d. 이며 종속적인 고차원 벡터에 대해 표본 공분산 행렬의 수렴 속도에 대한 날카운 비점근적 경계를 설정할 수 있는가?
• RQ2 가우시안 행렬에서 알려진 $ \sqrt{n/N} $ 수렴 속도가 i.i.d. 요소를 초월하는 더 넓은 분포 클래스로 확장되는가?
• RQ3 이전 결과에서 로그볼록성 벡터에 대해 나타나는 상수 인자들을 제거하여 최적의 수렴 속도를 달성할 수 있는가?
• RQ4 어떤 모멘트 및 尾 꼬리 조건이 $ AA^T $ 의 극단적 특이값이 $ N $ 주위에 집중되도록 보장하는가?
• RQ5 균일한 $ \psi_1 $-노름 조건과 유계 조건이 고차원 설정에서 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 확률이 $ 1 - 2\exp(-c\sqrt{n}) $ 이상일 때, 정규화된 표본 공분산 행렬은 모든 $ x \in S^{n-1} $ 에 대해 $ \left| \frac{1}{N}\sum_{i=1}^N (|\langle X_i, x\rangle|^2 - \mathbb{E}|\langle X_i, x\rangle|^2) \right| \leq C(\psi + K)^2 \sqrt{n/N} $ 를 만족한다.
• 행렬 $ AA^T $ 의 극단적 특이값 $ \lambda_{\min} $ 과 $ \lambda_{\max}} $ 는 높은 확률로 $ 1 - C(\psi + K)^2\sqrt{n/N} \leq \lambda_{\min}/N \leq \lambda_{\max}/N \leq 1 + C(\psi + K)^2\sqrt{n/N} $ 를 만족한다.
• 이 결과는 균일한 $ \psi_1 $-노름 조건과 상수 $ K $ 를 갖는 유계 조건 하에서 성립하며, 이 조건은 로그볼록 등방향 벡터와 $ \ell_2^n $-구 위의 균일 분포 벡터에 의해 충족된다.
• 이전 연구에서 나타나는 상수 인자들을 제거하여 최적의 $ \sqrt{n/N} $ 수렴 속도를 달성한다. 가우시안 경우와 동일한 속도를 달성한다.
• 이 방법은 요소들이 종속적이거나 벡터들이 비동일분포일 경우에도 적용 가능하여, 고전적인 Bai-Yin 정리를 크게 일반화한다.
• 분석은 표본 과정의 분해와 넷 기반의 체이닝에 의존하며, 꼬리 추정은 모멘트 및 지수 꼬리 유계를 통해 제어된다.