[논문 리뷰] Eigenvectors of some large sample covariance matrix ensembles

Olivier Ledoit, Sandrine Péché|ArXiv.org|2009. 11. 16.

Random Matrices and Applications참고 문헌 23인용 수 11

한 줄 요약

이 논문은 대규모 차원의 랜덤 행렬 이론 하에서 표본 공분산 행렬 고유벡터의 渐近적 행동을 유도하며, 스틸체스 변환을 통해 표본 고유벡터와 모집단 고유벡터 사이의 기능적 관계를 수립한다. 주요 기여는 표본 고유값에 대한 편향 보정 추정기법을 도출하여 고차원 설정에서 모집단 공분산 행렬과 그 역행렬의 개선된 추정을 가능하게 한다.

ABSTRACT

We consider sample covariance matrices $S_N=\frac{1}{p}Σ_N^{1/2}X_NX_N^* Σ_N^{1/2}$ where $X_N$ is a $N imes p$ real or complex matrix with i.i.d. entries with finite $12^{ m th}$ moment and $Σ_N$ is a $N imes N$ positive definite matrix. In addition we assume that the spectral measure of $Σ_N$ almost surely converges to some limiting probability distribution as $N o \infty$ and $p/N o γ>0.$ We quantify the relationship between sample and population eigenvectors by studying the asymptotics of functionals of the type $\frac{1}{N} ext{Tr} (g(Σ_N) (S_N-zI)^{-1})),$ where $I$ is the identity matrix, $g$ is a bounded function and $z$ is a complex number. This is then used to compute the asymptotically optimal bias correction for sample eigenvalues, paving the way for a new generation of improved estimators of the covariance matrix and its inverse.

연구 동기 및 목표

• 고차원 극한 하에서 표본 공분산 행렬 고유벡터가 모집단 고유벡터에서 얼마나 벗어지는지를 특성화하는 것.
• 스틸체스 변환을 포함하는 복합 행렬의 리졸베이트 함수를 사용하여 표본 고유벡터와 모집단 고유벡터 사이의 관계를 정량화하는 것.
• 공분산 행렬 추정을 향상시키기 위해 표본 고유값에 대한 渐진적으로 최적의 편향 보정을 도출하는 것.
• 표본 공분산 행렬의 경험적 스펙트럼 분포가 결정론적 한계로 수렴하는 조건을 확립하는 것.
• 고차원 설정에서 공분산 행렬과 그 역행렬의 개선된 추정기법을 위한 이론적 기반을 제공하는 것.

제안 방법

• 표본 고유벡터 행동 분석을 위해 리졸베이트 행렬 $(S_N - zI)^{-1}$ 과 그 트레이스 기능 $\frac{1}{N}\mathrm{Tr}\left(g(\Sigma_N)(S_N - zI)^{-1}\right)$ 를 사용한다.
• 한계 스펙트럼 분포 $F$ 의 스틸체스 변환 $m_F(z)$ 를 적용하여 渐진적 고유값 분포를 특성화한다.
• 마르체노-파스트르 법칙 및 그 정밀화된 형태를 사용하여 $p/N \to \gamma > 0$ 조건 하에서 한계 스펙트럼 측도 $F$ 를 묘사한다.
• 변환된 스틸체스 변환 $\Theta^{-1}(z)$ 의 역함수를 사용하여 고유벡터 투영의 渐진적 분포를 도출한다.
• 복소해석학 및 스틸체스 변환의 허수부를 포함한 역함수 공식을 사용하여 누적분포함수를 복원한다.
• empirical 스펙트럼 분포의 수렴 및 $z \to \lambda \in \mathbb{R}$ 일 때 스틸체스 변환의 극한 존재성과 관련된 랜덤 행렬 이론의 결과를 적용한다.

실험 결과

연구 질문

• RQ1 고차원 점근적 설정에서 표본 공분산 행렬의 고유벡터는 모집단 공분산 행렬의 고유벡터에서 어떻게 다를까?
• RQ2 표본 크기 $N \to \infty$ 일 때, 기능적 표현 $\frac{1}{N}\mathrm{Tr}\left(g(\Sigma_N)(S_N - zI)^{-1}\right)$ 의 극한 행동은 어떠한가?
• RQ3 유도된 고유벡터 관계를 활용하여 표본 고유값의 편향을 渐진적으로 보정할 수 있는가?
• RQ4 표본 공분산 행렬의 한계 스펙트럼 분포 $F$ 는 모집단 스펙트럼 분포 $H$ 와 어떻게 관련이 있는가?
• RQ5 한계 스틸체스 변환의 존재성과 실수선 상의 경계값의 연속성을 보장하는 조건은 무엇인가?

주요 결과

• 고유벡터 투영의 渐진적 분포는 $\Psi(x) = \int_{-\infty}^x \psi(\lambda) \, dF(\lambda)$ 로 특성화되며, 여기서 $\psi(\lambda)$ 는 스틸체스 변환에서 유도된 편향 보정 함수이다.
• $\gamma > 1$ 인 경우, 편향 보정 고유값 추정기는 $\Psi(x) = \int_{-\infty}^x \frac{1 - \gamma^{-1} - 2\gamma^{-1}\lambda \, \mathrm{Re}[\breve{m}_F(\lambda)]}{\lambda} \, dF(\lambda)$ 로 주어진다.
• $\gamma < 1$ 인 경우, 편향 보정에는 영점에서의 불연속성이 포함되며, $\lambda = 0$ 근처에서 $\Psi(x) = \int_{-\infty}^x \left[-\breve{m}_{\underline{F}}(0) + \frac{1}{1 - \gamma} \breve{m}_H(0) \right] \, dF(\lambda)$ 로 표현된다.
• 가정 $p/N \to \gamma > 0$ 과 $H_N \to H$ 하에서, 표본 공분산 행렬의 한계 스펙트럼 분포 $F$ 는 거의 확실히 비결정론적 한계 $F$ 로 수렴한다.
• 스틸체스 변환 $m_F(z)$ 는 $m_F(z)$ 와 모집단 스펙트럼 측도 $H$ 를 포함하는 자기일관성 방정식을 만족하며, $m_F(z) = \int \left\{ \tau[1 - \gamma^{-1} - \gamma^{-1} z m_F(z)] - z \right\}^{-1} dH(\tau)$ 로 주어진다.
• 한계 스펙트럼 분포의 도함수는 $\lambda > 0$ 에서 $F'(\lambda) = \pi^{-1} \mathrm{Im}[\breve{m}_F(\lambda)]$ 이며, $\gamma > 1$ 일 때 $F$ 는 연속적으로 미분 가능하다.