[논문 리뷰] On the largest eigenvalue of Wishart matrices with identity covariance when n, p and p/n tend to infinity

Noureddine El Karoui|ArXiv.org|2003. 09. 22.

Random Matrices and Applications참고 문헌 18인용 수 63

한 줄 요약

이 논문은 Johnstone(2001)의 결과를 확장하여, i.i.d. 표준 정규 분포를 가진 성분을 가진 위샤르트 행렬의 최대 고유값의 점근적 분포에 대해, $ n, p \to \infty $ 이면서 $ p/n \to \infty $ 또는 $ n/p \to \infty $ 인 경우에도 적절히 중심화 및 스케일링된 최대 고유값이 여전히 트레이시-위드먼 분포를 따름을 보이며, 고차원 설정에서의 근본적 위샤르트 모델의 점근적 이론을 완성한다. 이 결과는 고정된 $ k $ 에 대해 $ k $ 개의 최대 고유값에 대해서도 함께 성립한다.

ABSTRACT

Let X be a n*p matrix and l_1 the largest eigenvalue of the covariance matrix X^{*}*X. The "null case" where X_{i,j} are independent Normal(0,1) is of particular interest for principal component analysis. For this model, when n, p tend to infinity and n/p tends to gamma in (0,\infty), it was shown in Johnstone (2001) that l_1, properly centered and scaled, converges to the Tracy-Widom law. We show that with the same centering and scaling, the result is true even when p/n or n/p tends to infinity. The derivation uses ideas and techniques quite similar to the ones presented in Johnstone (2001). Following Soshnikov (2002), we also show that the same is true for the joint distribution of the k largest eigenvalues, where k is a fixed integer. Numerical experiments illustrate the fact that the Tracy-Widom approximation is reasonable even when one of the dimension is "small".

연구 동기 및 목표

• 고전적 $ n/p \to \gamma \in (0,\infty) $ 설정을 넘어서, $ n/p \to \infty $ 및 $ p/n \to \infty $ 인 경우에도 위샤르트 행렬의 최대 고유값의 점근적 분포를 확장한다.
• 한쪽 차원이 다른 쪽보다 지배하는 극단적 점근적 설정에서도 트레이시-위드먼 법칙이 최대 고유값에 대해 여전히 유효함을 입증한다.
• 고정된 $ k $ 에 대해 $ k $ 개의 최대 고유값의 공동 분포로 결과를 일반화하여, 동일한 점근적 행동을 확인한다.
• 작은 $ n $ 또는 $ p $ 인 경우에도 트레이시-위드먼 근사가 정확한지에 대한 수치적 증거를 제공한다.
• 비표준 스케일링 설정 하에서 랜덤 매트릭스 이론의 편미분 전개 오차 제어에 발생하는 이론적 과제를 다룬다.

제안 방법

• Johnstone(2001)의 중심화 및 스케일링 수열 $ \mu_{np} $, $ \sigma_{np} $ 를 $ n/p \to \infty $ 인 설정으로 일반화하며, $ n_1 = \max(n,p)-1 $, $ p_1 = \min(n,p) $ 이고 $ \mu_{np} = (\sqrt{n_1} + \sqrt{p_1})^2 $, $ \sigma_{np} = (\sqrt{n_1} + \sqrt{p_1})(1/\sqrt{n_1} + 1/\sqrt{p_1})^{1/3} $ 이다.
• Soshnikov(2002)의 행렬식 점프 과정 기법을 적용하여, $ k $ 개의 최대 고유값의 공동 분포로의 수렴을 확장한다.
• 특수 함수—에어리 함수, 윌커슨 함수, 파라볼릭 실린더 함수의 점근적 분석을 통해 관련 미분방정식의 편미분 전개에서 오차 항을 제어한다.
• 리우빌-그린 변환과 변수 치환을 활용하여 고유값 방정식을 에어리 또는 파라볼릭 실린더 방정식과 유사한 형태로 변환함으로써 균일한 오차 bound를 확보한다.
• 기존 접근법에서 직접적인 오차 제어가 실패하는 것을 오버의(1980) 윌커슨 함수에 대한 프레임워크로 전환함으로써 보완하며, 이는 편미분 효과에 대한 명시적 bound를 제공한다.
• 다양한 $ n, p $ 조합에서 $ 10,000 $ 개의 i.i.d. $ n \times p $ 행렬을 사용한 몬테카를로 시뮬레이션을 통해 트레이시-위드먼 근사의 강인성을 검증한다.

실험 결과

연구 질문

• RQ1 고전적 $ n/p \to \gamma \in (0,\infty) $ 설정을 넘어서, $ n/p \to \infty $ 인 경우에도 트레이시-위드먼 분포가 위샤르트 행렬의 최대 고유값의 점근적 분포를 여전히 기술하는가?
• RQ2 $ p/n \to \infty $ 인 경우, $ n $ 이 작더라도 $ k $ 개의 최대 고유값의 공동 분포가 트레이시-위드먼 법칙으로 수렴하는가?
• RQ3 이론적 가정이 큰 $ n $ 과 $ p $ 를 요구함에도 불구하고, $ p \gg n $ 인 고차원 설정에서 트레이시-위드먼 근사는 수치적으로 신뢰할 수 있는가?
• RQ4 비율 $ p/n $ 이 발산하는 경우, 고유값 분포의 점근 전개에서 오차를 어떻게 제어할 수 있는가?
• RQ5 특수 함수 기반의 편미분 이론을 활용하여, 랜덤 매트릭스 이론의 이론적 프레임워크를 극단적 점근적 설정으로 확장할 수 있는가?

주요 결과

• i.i.d. $ \mathcal{N}(0,1) $ 성분을 가진 $ n \times p $ 위샤르트 행렬의 최대 고유값 $ l_1 $ 이 적절히 중심화 및 스케일링되면, $ n/p \to \infty $ 인 경우에도 트레이시-위드먼 법칙으로 수렴한다.
• 동일한 점근적 행동은 $ p/n \to \infty $ 인 경우에도 성립하므로, 근본적 위샤르트 모델에서 최대 고유값의 점근적 그림을 완성한다.
• 고정된 $ k $ 에 대해 $ k $ 개의 최대 고유값의 공동 분포는 동일한 극단적 점근적 설정 하에서 공동 트레이시-위드먼 분포로 수렴한다.
• 수치 실험 결과, $ n $ 과 $ p $ 가 중간 수준이어도 트레이시-위드먼 근사가 정확하게 유지됨을 보이며, $ n \ll p $ 인 경우, 예를 들어 $ n=10, p=1000 $ 인 경우에도 성립한다.
• 보다 정교한 중심화 및 스케일링 $ \tilde{\mu}_{np} = \sqrt{n-1/2} + \sqrt{p-1/2} $, $ \tilde{\sigma}_{np} = (\sqrt{n-1/2} + \sqrt{p-1/2})(1/\sqrt{n-1/2} + 1/\sqrt{p-1/2})^{1/3} $ 를 사용함으로써, 유한 표본에서 근사의 정확도가 크게 향상된다.
• Olver(1980)의 윌커슨 함수에 대한 편미분 이론을 응용함으로써, $ p/n \to \infty $ 인 발산 설정에서 점근 결과를 검증하기 위한 필수 균일 오차 bound 를 확립한다.