[논문 리뷰] Limiting Laws for Divergent Spiked Eigenvalues and Largest Non-spiked Eigenvalue of Sample Covariance Matrices

Tommaso Cai, Xiao Han외 1명|arXiv (Cornell University)|2017. 11. 01.

Random Matrices and Applications참고 문헌 25인용 수 16

한 줄 요약

이 논문은 발산하는 인파라미터를 가진 일반적인 스피iked 공분산 모형 하에서 표본 공분산 행렬의 발산하는 스피크드 고유값에 대한 점근 정규분포와 비스피크드 고유값의 최대값에 대한 Tracy-Widom 한계를 설정한다. 이는 새로운 종속된 이차형식에 대한 중심극한정리(특수 기술 도구)를 사용하여, 스피크드 및 비스피크드 고유값에 모두 의존하는 점근 평균과 모집단 고유벡터에 의존하는 분산을 유도한다.

ABSTRACT

We study the asymptotic distributions of the spiked eigenvalues and the largest nonspiked eigenvalue of the sample covariance matrix under a general covariance matrix model with divergent spiked eigenvalues, while the other eigenvalues are bounded but otherwise arbitrary. The limiting normal distribution for the spiked sample eigenvalues is established. It has distinct features that the asymptotic mean relies on not only the population spikes but also the nonspikes and that the asymptotic variance in general depends on the population eigenvectors. In addition, the limiting Tracy-Widom law for the largest nonspiked sample eigenvalue is obtained. Estimation of the number of spikes and the convergence of the leading eigenvectors are also considered. The results hold even when the number of the spikes diverges. As a key technical tool, we develop a Central Limit Theorem for a type of random quadratic forms where the random vectors and random matrices involved are dependent. This result can be of independent interest.

연구 동기 및 목표

• 모집단 공분산 행렬이 발산하는 수의 스피크드 고유값을 가질 때 표본 고유값의 점근 분포를 특성화하는 것.
• 비스피크드 고유값 중 최대값의 점근 분포를 확립하여 Tracy-Widom 법칙으로 수렴함을 보이는 것.
• 한국적 고유값 분포를 도출하는 데 필수적인, 종속된 이차형식에 대한 새로운 중심극한정리를 개발하는 것.
• 스피크드 수의 추정 절차를 제공하고 주요 표본 고유벡터의 수렴성을 분석하는 것.
• 기존 결과를 고정된 K 가정을 초월하여 스피크드 수가 발산하는 설정으로 확장하는 것.

제안 방법

• 표본 공분산 행렬을 $ \bf{S}_n = \frac{1}{n} \mathbb{\Gamma} \mathbf{X} \mathbf{X}^\top \mathbb{\Gamma}^\top $ 로 정의하며, 여기서 $ \mathbb{\Gamma} $ 는 직사각형 행렬이고 $ \mathbf{X} $ 는 i.i.d. 성분을 갖는다.
• 모집단 공분산 $ \mathbb{\Sigma} = \mathbb{\Gamma} \mathbb{\Gamma}^\top $ 을 $ K $ 개의 발산하는 스피크드 고유값과 $ p-K $ 개의 유계 비스피크드 고유값을 가진다.
• 의존적인 랜덤 벡터와 행렬을 포함하는 형태 $ \mathbf{r}_i^\top \underline{\mathbf{A}}_i^{-1} \mathbf{r}_i $ 의 이차형식에 대한 새로운 중심극한정리를 적용한다.
• 해석적 방법과 Stieltjes 변환 기법을 사용하여 해석적 행렬의 추적과 점근 모멘트를 유도한다.
• 조건부 기대값과 교란 전개를 통해 해석적 행렬 $ \underline{\mathbf{A}}_1^{-1} $ 의 재귀적 분해를 수행한다.
• empirical 추적과 한계 Stieltjes 변환을 연결하기 위해 $ \sqrt{n} \left( \frac{1}{n} \mathbb{E} \, \mathrm{tr} \, \mathbf{A}^{-1} + \tilde{m}_\theta(1) \right) \to 0 $ 의 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 대응하는 모집단 고유값이 발산할 때 스피크드 표본 고유값의 점근 분포는 무엇인가?
• RQ2 스피크드 고유값의 점근 평균과 분산은 비스피크드 고유값과 고유벡터에 어떻게 의존하는가?
• RQ3 스피크드 모형이 발산할 경우에도 비스피크드 고유값 중 최대값은 여전히 Tracy-Widom 분포를 따르는가?
• RQ4 고차원 랜덤 행렬 이론에서 나타나는 종속된 이차형식에 대해 중심극한정리를 확립할 수 있는가?
• RQ5 발산하는 스피크드 제도에서 주요 표본 고유벡터는 어떻게 모집단 고유벡터로 수렴하는가?

주요 결과

• 스피크드 표본 고유값은 스피크드 및 비스피크드 모집단 고유값에 모두 의존하는 점근 평균을 갖는 정규분포로 수렴한다.
• 스피크드 고유값의 점근 분산은 모집단 고유벡터에 의존함을 보여주며, 이는 고유벡터의 구조가 추정 정밀도에 영향을 준다는 것을 시사한다.
• 비스피크드 고유값 중 최대값은 스피크드 수가 발산하더라도 여전히 1차 Tracy-Widom 법칙으로 수렴한다.
• 종속된 이차형식에 대한 새로운 중심극한정리를 확립하였으며, 이는 점근 분포 유도에 필수적인 주요 기술적 기여로, 더 넓은 응용 가능성을 지닌다.
• 고유값 행동을 이용하여 스피크드 수를 일관되게 추정할 수 있으며, 적절한 정규화 하에 주요 표본 고유벡터는 모집단 고유벡터로 수렴한다.
• 해석적 행렬의 추적 수렴 속도가 $ o(n^{-1/2}) $ 임을 보여주어 점근 정규분포 및 Tracy-Widom 한계의 타당성을 확보한다.