[논문 리뷰] Asymptotic Joint Distribution of Extreme Sample Eigenvalues and Eigenvectors in the Spiked Population Model

Dai Shi|arXiv (Cornell University)|2013. 04. 22.

Random Matrices and Applications참고 문헌 19인용 수 7

한 줄 요약

이 논문은 인구 공분산 행렬에 유한한 수의 단위가 아닌 고유값을 갖는 스파이크드 인구 모델에서 극단적 표본 고유값과 고유벡터의 渐近적 공동분포를 수립한다. 일반적인 모멘트 조건 하에서 극단적 고유값과 그에 대응하는 고유벡터는 명시적으로 계산된 공분산 구조를 갖는 다변수 정규분포로 공동 수렴하며, 정규성 조건 하에서는 고유값 팩이 渐近적으로 독립적이며 국소적 변동이 독립적임을 보인다.

ABSTRACT

In this paper, we consider a data matrix $X_N\in\mathbb{R}^{N imes p}$ where all the rows are i.i.d. samples in $\mathbb{R}^p$ of mean zero and covariance matrix $Σ\in\mathbb{R}^{p imes p}$. Here the population matrix $Σ$ is of finite rank perturbation of the identity matrix. This is the "spiked population model" first proposed by Johnstone. As $N, p o\infty$ but $N/p o γ\in(1, \infty)$, for the sample covariance matrix $S_N := X_NX_N^T/N$, we establish the joint distribution of the largest and the smallest few packs of eigenvalues. Inside each pack, they will behave the same as the eigenvalues drawn from a Gaussian matrix of the corresponding size. Among different packs, we also calculate the covariance between the Gaussian matrices entries. As a corollary, if all the rows of the data matrix are Gaussian, then these packs will be asymptotically independent. Also, the asymptotic behavior of sample eigenvectors are obtained. Their local fluctuation is also Gaussian with covariance explicitly calculated.

연구 동기 및 목표

• 스파이크드 인구 모델에서 가장 크고 가장 작은 표본 고유값의 공동 渐近적 분포를 특성화하기.
• 표본 고유벡터의 극한 분포를 유도하며, 그 국소적 변동을 포함하기.
• 고유값과 고유벡터의 극한 정규분포의 명시적 공분산 구조를 계산하기.
• 고유값 팩이 渐近적으로 독립이 되는 조건을 확립하기, 특히 정규 표본 추출 조건에서.
• _null 사례(즉, 마르첸코-파스트르 법칙을 초월)에서의 보편성 결과를 스파이크드 모델로 확장하기.

제안 방법

• 데이터 행렬을 신호와 잡음 성분으로 분해하며, 신호 부분공간은 스파이크드 고유값들에 의해 생성된다.
• 표본 고유값과 고유벡터의 2차 근사 전개를 인구 파rameter 주변에서 수행하며, 리졸베이트 기법과 스펙트럼 투영 방법을 활용한다.
• 공분산 행렬은 데이터의 네 번째 모멘트를 포함하는 모멘트 전개와 추적 점근적 기법을 통해 유도된다.
• 고유값과 고유벡터 성분의 선형 통계량에 대한 다변수 중심극한정리로 고유값과 고유벡터의 공동 수렴성을 확립한다.
• 유한한 네 번째 모멘트와 스파이크드 구조를 가정하여 극단적 고유값의 점근적 행동을 밀도부분과 분리시킨다.
• 스파이크드 부분공간에 대한 투영 행렬을 포함하는 행렬 곱의 정규화된 추적의 극한을 사용하여 극한 공분산 행렬의 명시적 표현을 유도한다.

실험 결과

연구 질문

• RQ1 N과 p가 증가하면서 N/p → γ ∈ (1, ∞)일 때, 스파이크드 인구 모델에서 극단적 표본 고유값은 어떻게 공동으로 행동하는가?
• RQ2 극단적 고유값에 대응하는 표본 고유벡터의 공동 渐近적 분포는 무엇인가?
• RQ3 다른 팩들(스파이크드 vs. 비스파이크드)의 고유값 간 공분산은 점근적으로 어떻게 행동하는가?
• RQ4 어떤 조건에서 고유값 팩이 渐近적으로 독립이 되는가?
• RQ5 표본 고유벡터의 국소적 변동의 구조는 무엇이며, 고유값 변동과 어떻게 관련되는가?

주요 결과

• 극단적 표본 고유값의 공동분포는 데이터 분포의 첫 네 모멘트에 의해 명시적으로 결정된 공분산 행렬을 갖는 다변수 정규분포로 수렴한다.
• 표본 고유벡터의 국소적 변동은 점근적으로 정규분포를 이룬다. 이 공분산 구조는 데이터의 네 번째 모멘트에 의존한다.
• 표본 고유벡터 성분과 고유값 간의 극한 공분산은 명시적으로 계산되었으며, 기저 분포의 네 번째 모멘트에만 의존함을 보였다.
• 데이터가 정규분포를 따를 경우, 서로 다른 팩에 속한 표본 고유값은 점근적으로 독립적이며, 고유벡터의 변동은 고유값의 변동과 독립적이다.
• 표본 고유벡터와 진짜 고유벡터 사이의 각도는 비퇴화된 상수로 수렴하며, 이에 대해 중심극한정리 스타일의 변동이 발생한다.
• 고유값과 고유벡터의 극한 공분산 행렬은 스파이크드 부분공간에 대한 투영 연산자를 포함하는 행렬 곱의 추적 극한을 사용하여 닫힌 형태로 유도되었다.