[논문 리뷰] Surprising Asymptotic Conical Structure in Critical Sample Eigen-Directions

Dan Shen, Haipeng Shen외 2명|arXiv (Cornell University)|2013. 03. 25.

Random Matrices and Applications참고 문헌 16인용 수 24

한 줄 요약

이 논문은 차원 수가 표본 크기와 스플라인 크기의 곱에 대한 비율이 0이 아닌 상수로 수렴할 때, 고차원 스플라인 공분산 모델의 표본 고유벡터에 놀라운 渐近적 원추 구조가 존재함을 밝혀낸다. 이 임계 영역에서 표본 고유벡터는 인구 고유벡터 주위에 랜덤한 원추로 수렴하며, 원추의 각도는 한계 비율에 의해 결정된다. 이는 고차원 점근적 조건 하에서 PCA의 고전적 일致성 개념에 도전한다.

ABSTRACT

The aim of this paper is to establish several deep theoretical properties of principal component analysis for multiple-component spike covariance models. Our new results reveal a surprising asymptotic conical structure in critical sample eigendirections under the spike models with distinguishable (or indistinguishable) eigenvalues, when the sample size and/or the number of variables (or dimension) tend to infinity. The consistency of the sample eigenvectors relative to their population counterparts is determined by the ratio between the dimension and the product of the sample size with the spike size. When this ratio converges to a nonzero constant, the sample eigenvector converges to a cone, with a certain angle to its corresponding population eigenvector.In the High Dimension, Low Sample Size case, the angle between the sample eigenvector and its population counterpart converges to a limiting distribution.Several generalizations of the multi-spike covariance models are also explored, and additional theoretical results are presented.

연구 동기 및 목표

• 표본 크기와 스플라인 크기의 곱에 대한 차원 수의 비율이 유한하고 0이 아닌 상수로 수렴할 때, 주성분 분석에서 표본 고유벡터의 점근적 행동을 조사하는 것.
• 고전적, 랜덤 행렬 이론적, HDLSS 점근적 영역을 초월해 PCA 이론적 이해를 확장하는 것.
• 고차원 극한에서 인구 고유값이 구별 가능하거나 구별 불가능할 경우 표본 고유벡터의 기하학적 구조를 분석하는 것.
• 임계 점근적 조건 하에서 고차원, 저표본 크기(HDLSS) 설정에서 주성분 점수와 고유벡터의 일치성 특성을 확립하는 것.
• 다중 스플라인 공분산 모델을 일반화하고, 임계 및 HDLSS 영역에서 고유벡터 각도의 점근적 분포를 유도하는 것.

제안 방법

• 고유값이 구별 가능하거나 점점 더 이상 구별 불가능해지는 다중 스플라인 공분산 모델 하에서 표본 고유벡터의 점근적 분포를 분석한다.
• 랜덤 행렬 이론에서 이차 형식의 거의 확실 수렴을 이용해 표본 고유벡터와 그에 대응하는 인구 고유벡터 사이의 한계 각도를 도출한다.
• 특히 표본 공분산 행렬의 고유값과 고유벡터의 점근적 행동을 다루는 랜덤 행렬 이론의 결과를 적용한다.
• 고유값 비율과 추적 통계량의 거의 확실 수렴을 이용해 표본 고유벡터의 원추 수렴을 확립한다.
• 고유벡터 행렬의 분해과 표본 공분산 행렬의 점근적 성질을 활용해 고유벡터 성분의 점근적 분포를 유도한다.
• 구별 불가능한 고유값을 가진 다중 스플라인 모델로 결과를 일반화하기 위해, 표본 고유벡터와 해당 인구 고유벡터들이 생성하는 부분공간 사이의 각도를 분석한다.

실험 결과

연구 질문

• RQ1 표본 크기와 스플라인 크기의 곱에 대한 차원 수의 비율이 유한하고 0이 아닌 상수로 수렴할 때, PCA에서 표본 고유벡터는 어떻게 되는가?
• RQ2 임계 영역에서 표본 고유벡터의 기하학적 구조는 고전적 또는 HDLSS 점근적 조건과 비교해 어떻게 변화하는가?
• RQ3 HDLSS 설정에서 임계 조건 하에 표본 고유벡터와 그 인구 고유벡터 간의 각도의 점근적 분포는 무엇인가?
• RQ4 HDLSS 영역에서 고유벡터 각도가 0으로 수렴할 때 주성분 점수의 점근적 행동은 어떻게 되는가?
• RQ5 여러 개의 인구 고유값이 극한에서 구별 불가능할 경우 표본 고유벡터의 점근적 행동은 어떻게 되는가?

주요 결과

• $ d/(n\tilde{\nu}_j) \to c_j \in (0,\infty) $ 일 때, 표본 고유벡터 $ \hat{u}_j $ 는 거의 확실히 인구 고유벡터 $ u_j $ 주위에 각도 $ \theta_j = \arccos(1/\sqrt{1 + c_j}) $ 를 가진 원추로 수렴한다.
• 원추 각도는 $ c_j $ 가 증가함에 따라 커지므로, 더 큰 $ c_j $ 는 고유벡터 방향에 대한 더 큰 불확실성을 반영한다.
• HDLSS 설정에서는 고유벡터 각도가 0으로 수렴하더라도, $ \hat{u}_j $ 와 $ u_j $ 사이의 각도가 비퇴화된 랜덤 분포로 수렴한다.
• 구별 불가능한 고유값에 대해서는 표본 고유벡터가 해당 인구 고유벡터들이 생성하는 부분공간 주위에 각도 $ \arccos(1/\sqrt{1 + c_l}) $ 를 가진 원추로 수렴하며, 여기서 $ c_l $ 는 그 군집에 대한 한계 비율이다.
• HDLSS 설정에서 PC 점수는 고유벡터 각도가 0으로 수렴하더라도 일치하지 않으며, 이는 고차원 점근적 조건 하에서 점수 추정이 여전히 신뢰할 수 없음을 시사한다.
• 결과는 일반적인 다중 스플라인 모델에 대해 강건하며, 고유값이 점점 더 이상 구별 불가능해지는 경우에도 확장 가능하며, 각도 수렴은 군집별 비율 $ c_l $ 에 의해 결정되는 원추적 구조로 이어진다.