[논문 리뷰] Spiked separable covariance matrices and principal components

Xiucai Ding, Fan Yang|arXiv (Cornell University)|2019. 05. 29.

Random Matrices and Applications참고 문헌 59인용 수 13

한 줄 요약

이 논문은 공간적 및 시간적 상관 행렬($\widetilde{A}$ 및 $\widetilde{B}$)에 각각 몇몇 큰 고유값(스피크)이 존재하고, 이들이 전체 고유값 분포와 분리되어 있는 스팘이 있는 분리 가능한 공분산 행렬 모델을 제안한다. 이는 외부 고유값과 일반화된 외부 고유벡터 성분의 거의 확실 수렴을 최적의 수렴 속도로 확립하며, 비외부 고유벡터의 분산 해소 성질을 증명한다. 이는 $\widetilde{A}$와 $\widetilde{B}$ 양쪽 모두의 스피크가 스펙트럼 외부 고유값을 생성하는 데서 중요한 역할을 한다는 것을 강조한다.

ABSTRACT

We introduce a class of separable sample covariance matrices of the form $\widetilde{\mathcal{Q}}_1:=\widetilde A^{1/2} X \widetilde B X^* \widetilde A^{1/2}.$ Here $\widetilde{A}$ and $\widetilde{B}$ are positive definite matrices whose spectrums consist of bulk spectrums plus several spikes, i.e. larger eigenvalues that are separated from the bulks. Conceptually, we call $\widetilde{\mathcal{Q}}_1$ a \emph{spiked separable covariance matrix model}. On the one hand, this model includes the spiked covariance matrix as a special case with $\widetilde{B}=I$. On the other hand, it allows for more general correlations of datasets. In particular, for spatio-temporal dataset, $\widetilde{A}$ and $\widetilde{B}$ represent the spatial and temporal correlations, respectively. In this paper, we study the outlier eigenvalues and eigenvectors, i.e. the principal components, of the spiked separable covariance model $\widetilde{\mathcal{Q}}_1$. We prove the convergence of the outlier eigenvalues $\widetilde λ_i$ and the generalized components (i.e. $\langle \mathbf v, \widetilde{\mathbfξ}_i angle$ for any deterministic vector $\mathbf v$) of the outlier eigenvectors $\widetilde{\mathbfξ}_i$ with optimal convergence rates. Moreover, we also prove the delocalization of the non-outlier eigenvectors. We state our results in full generality, in the sense that they also hold near the so-called BBP transition and for degenerate outliers. Our results highlight both the similarity and difference between the spiked separable covariance matrix model and the spiked covariance model. In particular, we show that the spikes of both $\widetilde{A}$ and $\widetilde{B}$ will cause outliers of the eigenvalue spectrum, and the eigenvectors can help us to select the outliers that correspond to the spikes of $\widetilde{A}$ (or $\widetilde{B}$).

연구 동기 및 목표

• 공간적 및 시간적 상관 행렬에 스피크가 포함된 경우 분리 가능한 표본 공분산 행렬의 스펙트럼 행동을 분석하는 것.
• 두 개의 스피크 원천이 존재하는 분리 가능한 공분산 모델로 BBP 상전이 이론을 확장하는 것.
• 외부 고유값과 일반화된 고유벡터 성분에 대한 최적 수렴 속도를 확립하는 것.
• 스파이크가 있는 분리 가능한 모델에서 비외eton 고유벡터의 분산 해소 성질을 증명하는 것.
• $\widetilde{A}$와 $\widetilde{B}$의 스피크가 감지 가능한 주성분을 결정하는 데서 수행하는 역할를 명확히 하는 것.

제안 방법

• 표본 공분산 행렬 모델 $\widetilde{\mathcal{Q}}_1 = \widetilde{A}^{1/2}X\widetilde{B}X^*\widetilde{A}^{1/2}$을 정의하며, $X$는 i.i.d. 성분을 가지며 $\widetilde{A}, \widetilde{B}$는 결정적 정부호 행렬임을 가정한다.
• $\widetilde{\mathcal{Q}}_1$의 고유값과 고유벡터를 분석하기 위해 국소 법칙과 스펙트럼 분석 기법을 적용한다.
• 해소법과 섭동 이론을 사용하여 외부 고유값과 고유벡터 성분의 수렴 속도를 유도한다.
• 임의의 결정적 벡터 $\mathbf{v}$에 대해 고유벡터 수렴을 분석하기 위해 일반화된 성분 $\langle \mathbf{v}, \widetilde{\bm{\xi}}_i \rangle$을 도입한다.
• 근접한 BBP 전이 및 퇴화된 스피크를 포함한 전체 매개변수 영역을 고려하며, $n^{\varepsilon}$ 유형의 요소를 포함한 정밀한 오차 한계를 사용한다.
• 고유벡터 상관관계를 유계화하기 위해, 스피크 위치가 전체 스펙트럼에 비해 다양한 구성에 따라 사례별 분석을 수행한다.

실험 결과

연구 질문

• RQ1 공간적($\widetilde{A}$) 및 시간적($\widetilde{B}$) 상관 행렬에 존재하는 스피크가 분리 가능한 표본 공분산 행렬의 외부 고유값에 어떤 영향을 미치는가?
• RQ2 스파이크가 있는 분리 가능한 모델에서 외부 고유값과 일반화된 고유벡터 성분의 최적 수렴 속도는 무엇인가?
• RQ3 표본 공분산 행렬의 고유벡터는 $\widetilde{A}$와 $\widetilde{B}$의 스피크에 어떻게 반응하며, 이는 외부 고유값의 기원을 식별하는 데 사용될 수 있는가?
• RQ4 분리 가능한 모델에서 BBP 전이 근처의 스펙트럼 행동은 어떻게 되며, 기존의 스파이크 공분산 모델과 어떻게 다를까?
• RQ5 스파이크가 있는 분리 가능한 공분산 모델에서 비외부 고유벡터는 분산 해소되어 있는가, 그리고 이는 스펙트럼 전반에 걸쳐 균일하게 증명될 수 있는가?

주요 결과

• 외부 고유값 $\widetilde{\lambda}_i$는 $\widetilde{A}$와 $\widetilde{B}$ 양쪽의 스피크에 의해 결정되는 극한값으로 거의 확실하게 수렴하며, 최적의 수렴 속도를 가진다.
• 외부 고유벡터의 일반화된 성분 $\langle \mathbf{v}, \widetilde{\bm{\xi}}_i \rangle$는 최적의 속도로 수렴하며, 오차 한계는 주요 항에 비해 $n^{6\varepsilon}$ 배로 스케일링된다.
• 표본 공분산 행렬의 고유벡터를 사용하여 어떤 행렬($\widetilde{A}$ 또는 $\widetilde{B}$)이 스피크를 기여했는지 식별할 수 있으며, 이는 주성분의 기원 추적을 가능하게 한다.
• 비외부 고유벡터는 완전히 분산 해소되어 있으며, 이는 $\ell^2$-질량이 좌표 전반에 균일하게 분포되어 있음을 의미한다.
• 결과는 BBP 전이 근처 및 퇴화된 스피크 상황에서도 균일하게 성립하며, 기존의 고전적 스파이크 모델 연구를 확장한다.
• 분석 결과, $\widetilde{A}$와 $\widetilde{B}$ 양쪽의 스피크가 스펙트럼 외부 고유값에 공동으로 영향을 미친다는 것이 드러났으며, 이는 기존의 고전적 모델과 달리 오직 $\widetilde{A}$의 스피크만이 영향을 미친다는 점과 대조된다.