[논문 리뷰] Normal approximation and concentration of spectral projectors of sample covariance

Vladimir Koltchinskii, Karim Lounici|arXiv (Cornell University)|2015. 04. 27.

Random Matrices and Applications참고 문헌 21인용 수 65

한 줄 요약

이 논문은 고차원 가우시안 힐버트 공간에서 표본 공분산 연산자의 스펙트럴 프로젝터에 대한 제곱 힐베르트-슈미트 노름 오차 $\|\hat{P}_r - P_r\|_2^2$의 정규 근사에 대해 날카로운 경계를 수립한다. 이는 효과적 랭크 $\mathbf{r}(\Sigma) = \mathrm{tr}(\Sigma)/\|\Sigma\|_\infty$를 사용하여 정확도를 특성화하며, 비점근적 농도 및 분산 경계를 제공하고, $\mathbf{r}(\Sigma) = o(n)$ 조건 하에서 점근적 정규성을 증명한다.

ABSTRACT

Let $X,X_1,\\dots, X_n$ be i.i.d. Gaussian random variables in a separable Hilbert space ${\\mathbb H}$ with zero mean and covariance operator $\\Sigma={\\mathbb E}(X\\otimes X),$ and let $\\hat \\Sigma:=n^{-1}\\sum_{j=1}^n (X_j\\otimes X_j)$ be the sample (empirical) covariance operator based on $(X_1,\\dots, X_n).$ Denote by $P_r$ the spectral projector of $\\Sigma$ corresponding to its $r$-th eigenvalue $\\mu_r$ and by $\\hat P_r$ the empirical counterpart of $P_r.$ The main goal of the paper is to obtain tight bounds on $$ \\sup_{x\\in {\\mathbb R}} \\left|{\\mathbb P}\\left\\{\\frac{\\|\\hat P_r-P_r\\|_2^2-{\\mathbb E}\\|\\hat P_r-P_r\\|_2^2}{{\ m Var}^{1/2}(\\|\\hat P_r-P_r\\|_2^2)}\\leq x\ ight\\}-\\Phi(x)\ ight|, $$ where $\\|\\cdot\\|_2$ denotes the Hilbert--Schmidt norm and $\\Phi$ is the standard normal distribution function. Such accuracy of normal approximation of the distribution of squared Hilbert--Schmidt error is characterized in terms of so called effective rank of $\\Sigma$ defined as ${\\bf r}(\\Sigma)=\\frac{{\ m tr}(\\Sigma)}{\\|\\Sigma\\|_{\\infty}},$ where ${\ m tr}(\\Sigma)$ is the trace of $\\Sigma$ and $\\|\\Sigma\\|_{\\infty}$ is its operator norm, as well as another parameter characterizing the size of ${\ m Var}(\\|\\hat P_r-P_r\\|_2^2).$ Other results include non-asymptotic bounds and asymptotic representations for the mean squared Hilbert--Schmidt norm error ${\\mathbb E}\\|\\hat P_r-P_r\\|_2^2$ and the variance ${\ m Var}(\\|\\hat P_r-P_r\\|_2^2),$ and concentration inequalities for $\\|\\hat P_r-P_r\\|_2^2$ around its expectation.

연구 동기 및 목표

• 표본 공분산 스펙트럴 프로젝터에 대한 제곱 힐베르트-슈미트 오차 $\|\hat{P}_r - P_r\|_2^2$의 정규 근사 정확도에 대한 비점근적 경계를 제공하는 것.
• 효과적 랭크 $\mathbf{r}(\Sigma)$에 따라 $\mathbb{E}\|\hat{P}_r - P_r\|_2^2$와 그 분산에 대한 경계를 유도하는 것.
• 고차원 및 무한차원 설정에서 $\|\hat{P}_r - P_r\|_2^2$의 평균 주위에 대한 농도 부등식을 수립하는 것.
• 스피iked 공분산 모형에서 $p = p_n \to \infty$ 및 $p = o(n)$ 조건 하에서 정규화된 오차 통계량의 점근적 분포를 분석하는 것.
• 편향 보정 추정량과 위험 및 분산의 1차 근사와의 비교를 통해 시뮬레이션을 통한 이론 결과의 검증

제안 방법

• 정확도 특성화를 위해 핵심 복잡도 파라미터로 효과적 랭크 $\mathbf{r}(\Sigma) = \mathrm{tr}(\Sigma)/\|\Sigma\|_\infty$를 사용한다.
• 스티븐의 방법과 농도 부등식을 적용하여 $\|\hat{P}_r - P_r\|_2^2$의 분포와 정규분포 사이의 콜모고로프 거리에 대한 경계를 구한다.
• 분산과 기댓값에 대한 점근적 전개를 $\Sigma$의 고유값과 효과적 랭크에 따라 도출한다.
• 제곱 오차 $\|\hat{P}_r - P_r\|_2^2$의 편향을 보정하기 위해 경험적 편향 추정량 $\hat{b}_r^{(n)}$과 $\tilde{b}_r^{(n)}$을 도입한다.
• 고차원 점근적 분석을 위해 $p_n \to \infty$, $p_n = o(n)$ 조건 하에서 $\Sigma = s_1^2(\theta_1 \otimes \theta_1) + \sigma^2 I_p$ 형태의 스피크드 공분산 모형을 사용한다.
• 다양한 $n$과 $p=10^3$ 조건에서 1000회의 몬테카를로 반복을 통해 이론적 결과를 검증한다. 위험 및 분산 추정량을 비교한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 $\|\hat{P}_r - P_r\|_2^2$의 분포가 정규분포로 얼마나 정확하게 근사될 수 있는가?
• RQ2 효과적 랭크 $\mathbf{r}(\Sigma)$는 정규 근사 정확도와 스펙트럴 프로젝터 오차의 농도에 어떤 역할을 하는가?
• RQ3 유한 표본에서 경험적 편향 추정량 $\hat{b}_r^{(n)}$과 $\tilde{b}_r^{(n)}$이 진짜 위험 $\mathbb{E}\|\hat{P}_r - P_r\|_2^2$를 얼마나 잘 근사하는가?
• RQ4 스피크드 공분산 모형 하에서 정규화된 오차 $\frac{n}{\hat{B}_n}(\|\hat{P}_1^{(n)} - P_1\|_2^2 + 2\hat{b}_1^{(n)})$의 점근적 분포는 무엇인가?
• RQ5 유한 표본에서 위험 및 분산의 1차 근사와 경험적 추정량은 어떻게 비교되는가?

주요 결과

• $\mathbf{r}(\Sigma) = o(n)$ 조건 하에서 $\|\hat{P}_r - P_r\|_2^2$의 분포와 정규분포 사이의 콜모고로프 거리는 $O(\mathbf{r}(\Sigma)^{-1/2})$ 이하로 경계된다.
• $p = 1000$ 조건에서 $n \leq 300$ 인 작은 표본 크기에서는 첫 번째 근사 $A_n/n$보다 경험적 편향 추정량 $-2\hat{b}_1^{(n)}$이 위험을 더 잘 근사한다.
• $n \geq 10^3$ 인 큰 표본 크기에서는 첫 번째 근사 $A_n/n$이 $-2\hat{b}_1^{(n)}$보다 더 정확해지며, 상대 편차는 0.008로 감소한다.
• 분산 추정량 $\tilde{V}_n = \left((1 + \hat{b}_1^{(n)})^2 - (1 + \tilde{b}_1^{(n)})^2\right)^2$ 과 첫 번째 근사 $B_n^2/n^2$ 모두 $n$이 증가함에 따라 경험 분산 $\hat{S}_n^2$ 에서의 상대 편차가 감소하며, $n = 10^4$ 에서 0.05에 도달한다.
• 스피크드 모형 하에서 $p_n \to \infty$, $p_n = o(n)$ 조건 하에서 정규화된 통계량 $\frac{n}{\hat{B}_n}(\|\hat{P}_1^{(n)} - P_1\|_2^2 + 2\hat{b}_1^{(n)})$ 은 표준 정규분포로 수렴한다.
• $p = 1000$ 인 경우 정규화된 오차 통계량의 경험 밀도가 표준 정규분포와 매우 유사하게 일치하여 점근적 정규성 결과를 확인한다.