[논문 리뷰] Spectrum estimation for large dimensional covariance matrices using random matrix theory

Noureddine El Karoui|ArXiv.org|2006. 09. 14.

Random Matrices and Applications참고 문헌 21인용 수 11

한 줄 요약

이 논문은 랜덤 매트릭스 이론을 활용하여 고차원 공분산 행렬의 스펙트럼 추정을 위한 새로운 방법을 제안한다. 특히 마르체노-파스투르 방정식을 비선형적으로 활용하여 표본 고유값을 수축시키고 고차원 환경에서의 편향을 보정한다. 문제를 볼록 최적화 작업으로 공식화하여 한계 스펙트럼 분포를 추정함으로써, $ n $과 $ p $가 유사한 크기일 때조차도 일致하고 정확한 고유값 추정치를 도출한다.

ABSTRACT

Estimating the eigenvalues of a population covariance matrix from a sample covariance matrix is a problem of fundamental importance in multivariate statistics; the eigenvalues of covariance matrices play a key role in many widely techniques, in particular in Principal Component Analysis (PCA). In many modern data analysis problems, statisticians are faced with large datasets where the sample size, n, is of the same order of magnitude as the number of variables p. Random matrix theory predicts that in this context, the eigenvalues of the sample covariance matrix are not good estimators of the eigenvalues of the population covariance. We propose to use a fundamental result in random matrix theory, the Marcenko-Pastur equation, to better estimate the eigenvalues of large dimensional covariance matrices. The Marcenko-Pastur equation holds in very wide generality and under weak assumptions. The estimator we obtain can be thought of as "shrinking" in a non linear fashion the eigenvalues of the sample covariance matrix to estimate the population eigenvalue. Inspired by ideas of random matrix theory, we also suggest a change of point of view when thinking about estimation of high-dimensional vectors: we do not try to estimate directly the vectors but rather a probability measure that describes them. We think this is a theoretically more fruitful way to think statistically about these problems. Our estimator gives fast and good or very good results in extended simulations. Our algorithmic approach is based on convex optimization. We also show that the proposed estimator is consistent.

연구 동기 및 목표

• 표본 크기 $ n $과 차원 $ p $가 모두 크고 유사할 때 표본 고유값이 모집단 고유값의 추정치로 일관성이 없어지는 문제를 해결하기 위해.
• 고차원 설정에서 모집단 스펙트럼 분포의 이론적으로 타당하고 일관된 추정자 개발을 위해.
• 고유값을 직접 추정하는 전통적 접근에서, 고유값 분포를 묘사하는 확률 측도를 추정하는 패러다임으로 전환하기 위해.
• 볼록 최적화 기반으로 빠르고 계산 가능하며, 시뮬레이션에서 전통적 방법보다 뛰어난 성능을 보이는 알고리즘을 제공하기 위해.

제안 방법

• 표본 공분산 행렬의 한계 스펙트럼 분포를 모델링하기 위해 마르체노-파스투르 방정식을 기본 제약 조건으로 사용한다.
• 마르체노-파스투르 제약 조건 하에서 경험적 고유값에 가장 잘 맞는 모집단 스펙트럼 측도 $ H_{\infty} $를 볼록 최적화를 통해 추정한다.
• 문제의 수치적 안정성을 향상시키기 위해 표본 고유값을 가장 큰 표본 고유값 $ l_1 $로 스케일링한다.
• 다이adic 간격 상의 점 질량 및 조각별 상수/선형 밀도를 포함한 확률 측도의 사전을 활용하여 $ H_{\infty} $의 효율적 표현을 구현한다.
• 두 단계 접근법을 구현한다: 먼저 $ H_{\infty}(l_1 x) $를 구하고, 이를 다시 스케일링하여 $ H_{\infty}(x) $를 복원한다.
• 마르체노-파스투르 방정식을 수치적으로 이행하기 위해, 작은 허수부를 가진 이산 점 $ z_j $에서 평가된 복소 스틸지스 변환을 사용한다.

실험 결과

연구 질문

• RQ1 표본 크기 $ n $과 차원 $ p $가 모두 크고 유사할 때, 대규모 고차원 모집단 공분산 행렬의 고유값을 어떻게 일관되게 추정할 수 있는가?
• RQ2 고차원 설정에서 표본 고유값의 한계 행동은 어떻게 되며, 고전적 점근 이론과 어떻게 다를 수 있는가?
• RQ3 랜덤 매트릭스 이론을 활용해 극단적 표본 고유값의 편향을 보정함으로써, 고전적 PCA를 초월할 수 있는가?
• RQ4 고차원 추정 문제를 개별 고유값을 추정하는 것이 아니라 스펙트럼 측도를 추정하는 문제로 재구성할 수 있는가?
• RQ5 볼록 최적화를 어떻게 활용하여 마르체노-파스투르 제약 조건 하에서 한계 스펙트럼 분포를 효율적이고 정확하게 추정할 수 있는가?

주요 결과

• 제안된 추정자는 $ n $과 $ p $가 모두 크고 $ p/n \to \gamma \in (0, \infty) $ 일 때의 대역에서 일관성이 있다.
• 시뮬레이션 결과 전통적 방법에 비해 극적인 향상이 나타나며, 전통적 방법이 실패하는 상황에서도 데이터의 진짜 구조를 탐지할 수 있다.
• 모집단 공분산 행렬 $ \Sigma_p = I_p $ 일 때 가장 큰 표본 고유값 $ l_1 $ 는 상향 편향되며, $ (1 + \sqrt{\gamma})^2 $ 로 수렴한다. 이는 제안된 방법이 효과적으로 보정한다.
• 복소 스틸지스 변환 평가에 100~200개의 점을 사용할 경우, 10~60초 내에 빠르고 정확한 결과를 도출할 수 있다.
• 표준 PCA에 비해 가장 큰 고유값의 과대추정과 가장 작은 고유값의 과소추정을 줄여 성능을 향상시킨다.
• 다이adic 간격과 조각별 상수/선형 밀도를 포함한 사전의 선택은 과도한 계산 비용 없이도 정확도를 향상시킨다.