[논문 리뷰] Asymptotic Theory of Eigenvectors for Random Matrices With Diverging Spikes

Jianqing Fan, Yingying Fan외 2명|arXiv (Cornell University)|2019. 02. 19.

Random Matrices and Applications참고 문헌 60인용 수 7

한 줄 요약

이 논문은 발산하는 스파이크와 이질적인 분산을 가진 큰 난수 행렬의 고유벡터에 대한 渐近 이론을 개발하며, 일반화된 위그너 노이즈 하에서 스파이크 고유값과 고유벡터에 대한 渐近 정규성을 확립한다. 주요 기여는 고유벡터 선형 형식에 대한 엄밀한 2차 항 전개를 제공함으로써, 고차원 네트워크 및 텍스트 분석 응용 분야에서 타당한 통계적 추론을 가능하게 한다.

ABSTRACT

Characterizing the asymptotic distributions of eigenvectors for large random matrices poses important challenges yet can provide useful insights into a range of statistical applications. To this end, in this article we introduce a general framework of asymptotic theory of eigenvectors for large spiked random matrices with diverging spikes and heterogeneous variances, and establish the asymptotic properties of the spiked eigenvectors and eigenvalues for the scenario of the generalized Wigner matrix noise. Under some mild regularity conditions, we provide the asymptotic expansions for the spiked eigenvalues and show that they are asymptotically normal after some normalization. For the spiked eigenvectors, we establish asymptotic expansions for the general linear combination and further show that it is asymptotically normal after some normalization, where the weight vector can be arbitrary. We also provide a more general asymptotic theory for the spiked eigenvectors using the bilinear form. Simulation studies verify the validity of our new theoretical results. Our family of models encompasses many popularly used ones such as the stochastic block models with or without overlapping communities for network analysis and the topic models for text analysis, and our general theory can be exploited for statistical inference in these large-scale applications. Supplementary materials for this article are available online.

연구 동기 및 목표

• 스피크가 존재하고 분산이 이질적인 큰 스파이크가 있는 난수 행렬에 대한 일반적인 고유벡터 渐近 이론(ATE)을 개발하는 것.
• 일반화된 위그너 행렬 노이즈 하에서 스파이크 고유값과 고유벡터의 渐近 분포를 특성화하는 것.
• 적절한 정규화 후 스파이크 고유벡터의 선형 조합에 대한 渐近 정규성을 확립하는 것.
• 스토케스틱 블록 모델 및 토픽 모델과 같은 고차원 응용 분야에서의 통계적 추론을 위한 이론적 기초를 제공하는 것.
• 기존의 랜덤 매트릭스 이론을 확장하여, 대칭이 아닌 노이즈와 발산하는 스파이크 강도를 고려한 고차원 극한에서의 이론을 다루는 것.

제안 방법

• 약한 정규성 조건 하에서 스펙트럼 섭동 이론을 사용하여 스파이크 고유값의 渐近 전개를 유도한다.
• 해당 행렬의 역행렬 기반 분석 및 행렬 역행렬 기법을 통해 일반적인 스파이크 고유벡터 선형 조합의 2차 전개를 개발한다.
• 선형 형식을 초월하여 고유벡터에 대한 渐近 이론을 일반화하기 위해 이중선형 형식 프레임워크를 도입한다.
• 해당 행렬의 역행렬 항등식과 행렬 역행렬 보조정리를 사용하여 고차원 고유벡터 섭동을 다룰 수 있는 성분들로 분해한다.
• 잔여 항의 근사 전개에서의 제어를 위해 농도 불등식과 마틴게일 방법을 적용한다.
• 2차 전개에서 주요 확률적 항들을 식별하여 고유벡터 선형 형식의 주요 항의 渐近 분포를 도출한다.

실험 결과

연구 질문

• RQ1 스파이크 강도가 행렬 차원과 함께 발산할 때, 스파이크 고유값은 어떻게 渐近적으로 행동하는가?
• RQ2 일반적인 노이즈 구조 하에서 스파이크 고유벡터의 선형 조합의 극한 분포는 무엇인가?
• RQ3 노이즈가 이종적이고 i.i.d. 가 아니면, 고유벡터 투영의 渐近 정규성은 어떻게 확립할 수 있는가?
• RQ4 고유벡터 전개의 2차 항은 1차 항에 비해 극한 분포에 어떤 영향을 미치는가?
• RQ5 제안된 이론은 스토케스틱 블록 모델 및 토픽 모델과 같은 실제 고차원 모델에 어느 정도 적용 가능한가?

주요 결과

• 스파이크 강도가 행렬 크기와 함께 발산하더라도, 적절한 정규화 후 스파이크 고유값은 渐近 정규성을 띤다.
• 스파이크 고유벡터의 일반적인 선형 조합은 정규화 후 渐近 정규성을 띤다. 이때 극한 분산은 가중 벡터와 노이즈 구조에 따라 달라진다.
• 노이즈 분산이 스파이크 강도에 비해 충분히 작을 경우, 고유벡터 전개의 2차 항이 1차 항을 지배한다.
• 고유벡터 투영의 渐近 분포는 해리솔브와 섭동 항에서 유도된 세 개의 핵심 랜덤 변수의 공동 분포에 의해 결정된다.
• 시뮬레이션 연구를 통해 이론적 프레임워크가 유한 표본에서의 근사 정확도를 확인하였다.
• 이 모델 가족은 오버랩 피어싱 커뮤니티를 가진 스토케스틱 블록 모델과 토픽 모델을 포함하며, 이러한 설정에서의 통계적 추론을 가능하게 한다.