[논문 리뷰] On the principal components of sample covariance matrices

Alex Bloemendal, Antti Knowles외 2명|arXiv (Cornell University)|2014. 04. 03.

Random Matrices and Applications참고 문헌 39인용 수 11

한 줄 요약

이 논문은 인구 공분산 행렬이 낮은 질서의 변형으로 단위행렬과 다를 때 표본 공분산 행렬의 주성분을 분석한다. 등방성 국소 Marchenko-Pastur 법칙, 수준 반발, 양자 유일 에르고딕성 등을 사용하여 일반화된 고유벡터 성분에 대한 날카운 대칭 분포 추정치를 유도하며, 이는 비이상치 고유벡터가 초과스피크(spikes)에 대한 정보를 유지함을 보여주며, 고유값과는 달리 이는 BBP 전이점 근처에서 최적의 수렴 속도를 제공한다.

ABSTRACT

We introduce a class of $M imes M$ sample covariance matrices $\mathcal Q$ which subsumes and generalizes several previous models. The associated population covariance matrix $Σ= \mathbb E \cal Q$ is assumed to differ from the identity by a matrix of bounded rank. All quantities except the rank of $Σ- I_M$ may depend on $M$ in an arbitrary fashion. We investigate the principal components, i.e.\ the top eigenvalues and eigenvectors, of $\mathcal Q$. We derive precise large deviation estimates on the generalized components $\langle \mathbf w, \boldsymbol ξ_i angle$ of the outlier and non-outlier eigenvectors $\boldsymbol ξ_i$. Our results also hold near the so-called BBP transition, where outliers are created or annihilated, and for degenerate or near-degenerate outliers. We believe the obtained rates of convergence to be optimal. In addition, we derive the asymptotic distribution of the generalized components of the non-outlier eigenvectors. A novel observation arising from our results is that, unlike the eigenvalues, the eigenvectors of the principal components contain information about the \emph{subcritical} spikes of $Σ$. The proofs use several results on the eigenvalues and eigenvectors of the uncorrelated matrix $\mathcal Q$, satisfying $\mathbb E \mathcal Q = I_M$, as input: the isotropic local Marchenko-Pastur law established in [9], level repulsion, and quantum unique ergodicity of the eigenvectors. The latter is a special case of a new universality result for the joint eigenvalue-eigenvector distribution.

연구 동기 및 목표

• 표본 공분산 행렬의 주성분(고유값 및 고유벡터)이 인구 공분산 행렬이 단위행렬과 낮은 질서의 변형으로 다를 때의 행동을 이해하는 것.
• 임의의 질서, 가능하면 특이 또는 거의 특이한 스피크가 존재하는 상황에서 이방성 및 비이상치 고유벡터의 일반화된 성분에 대한 정밀한 대칭 분포 추정치를 도출하는 것.
• 비이상치 고유벡터가 초과스피크(즉, BBP 임계값 이하의 스피크)에 대한 정보를 유지함을 입증하며, 고유값의 행동과는 대조됨을 보여주는 것.
• 이상치가 생성되거나 소멸되는 BBP 전이점 근처에서 고유벡터 성분의 최적 수렴 속도를 증명하는 것.
• 서로 상관이 없는 표본 공분산 행렬에서 고유값과 고유벡터의 공동 분포에 대한 보편성 결과를 수립하는 것.

제안 방법

• 서로 상관이 없는 표본 공분산 행렬에 대한 등방성 국소 Marchenko-Pastur 법칙을 기반으로 하며, 이는 주어진 스펙트럼의 밀도 및 고유벡터 통계를 지배한다.
• 스펙트럼의 가장자리 근처에서 고유값 간의 간격을 제어하기 위해 수준 반발 추정치를 적용한다.
• 비이상치 고유벡터의 국소화 및 방향성 편향을 기술하기 위해 고유벡터의 양자 유일 에르고딕성을 핵심 입력으로 사용한다.
• 이러한 입력을 일반화된 고유벡터 성분(고정된 벡터와의 내적)에 대한 대칭 분포 추정치와 결합한다.
• 유한 질서 및 임의의 질서의 변형에 대해 적용 가능하며, 차원 M에 따라 매개변수의 의존성을 허용한다.
• 결과는 표준 표본 공분산 행렬 Q와 비편향된 형태 Q̇에 모두 확장되며, 동일한 渐近적 행동을 보인다.

실험 결과

연구 질문

• RQ1 인구 공분산 행렬에 대한 임의의 낮은 질서의 변형에서 고유벡터의 일반화된 성분은 어떻게 행동하는가, 특히 BBP 전이점 근처에서 어떻게 행동하는가?
• RQ2 이상치 고유값을 생성하지 않는 비이상치 고유벡터가 초과스피크(즉, BBP 임계값 이하의 스피크)에 대한 정보를 유지할 수 있는가?
• RQ3 특이 또는 거의 특이한 스피크 존재 시 고유벡터 성분의 최적 수렴 속도는 무엇인가?
• RQ4 서로 상관이 없는 표본 공분산 행렬에서 고유값과 고유벡터의 공동 분포는 어떻게 보편적으로 행동하는가?
• RQ5 비이상치 고유벡터의 일반화된 성분의 渐近적 분포는 밀도 영역 및 가장자리 영역에서 어떻게 되는가?

주요 결과

• 스피크 강도가 BBP 임계값 근처일 때 비이상치 고유벡터의 일반화된 성분은 스피크 벡터 방향으로 편향을 보이며, 이 때 분산은 d_i가 1에 가까울 때 (d_i - 1)^{-2} M^{-1} 으로 척도가 조정된다.
• 비이상치 고유벡터는 초과스피크(d_i < 1)에 대한 정보를 유지하지만, 고유값은 그렇지 않으며, 이는 정보 내용에 대한 근본적인 비대칭성을 드러낸다.
• 고유벡터 성분의 수렴 속도는 최적이며, 이상치가 생성되거나 소멸되는 BBP 전이점 근처에서도 균일하게 유지된다.
• 비이상치 고유벡터의 일반화된 성분의 渐近적 분포가 유도되었으며, 이는 스피크 강도와 위치에 따라 달라지는 비정규, 비균일한 편향을 보인다.
• 고유값-고유벡터 분포에 대한 새로운 보편성 결과가 수립되었으며, 양자 유일 에르고딕성은 특수한 경우로 포함된다.
• 결과는 Q와 Q̇에 모두 적용되며 동일한 渐近적 행동을 보이며, 고차원 추론에서 표준 표본 공분산 행렬의 사용을 정당화한다.