[논문 리뷰] Estimation of the Number of Spiked Eigenvalues in a Covariance Matrix by Bulk Eigenvalue Matching Analysis

Zheng Tracy Ke, Yucong Ma외 1명|arXiv (Cornell University)|2020. 05. 31.

Random Matrices and Applications참고 문헌 35인용 수 9

한 줄 요약

이 논문은 잔차 고유값을 감마분포로 모델링하고 경험적 분포를 이론적 분위수 함수와 일치시켜 고차원 공분산 행렬의 스파iked 고유값 수를 추정하는 데에 사용되는 새로운 방법인 브라운 고유값 매칭 분석(BEMA)을 제안한다. 이 방법은 전체 고유값 정보를 활용함으로써 추정 정확도를 향상시키며, 표준 스파iked 모델 하에서 $ K $의 일致성 추정을 달성하고, 시뮬레이션 및 실제 데이터 응용(폐암 및 1000 Genomes 데이터셋 포함)에서 기존 방법들을 능가한다.

ABSTRACT

The spiked covariance model has gained increasing popularity in high-dimensional data analysis. A fundamental problem is determination of the number of spiked eigenvalues, $K$. For estimation of $K$, most attention has focused on the use of $top$ eigenvalues of sample covariance matrix, and there is little investigation into proper ways of utilizing $bulk$ eigenvalues to estimate $K$. We propose a principled approach to incorporating bulk eigenvalues in the estimation of $K$. Our method imposes a working model on the residual covariance matrix, which is assumed to be a diagonal matrix whose entries are drawn from a gamma distribution. Under this model, the bulk eigenvalues are asymptotically close to the quantiles of a fixed parametric distribution. This motivates us to propose a two-step method: the first step uses bulk eigenvalues to estimate parameters of this distribution, and the second step leverages these parameters to assist the estimation of $K$. The resulting estimator $\hat{K}$ aggregates information in a large number of bulk eigenvalues. We show the consistency of $\hat{K}$ under a standard spiked covariance model. We also propose a confidence interval estimate for $K$. Our extensive simulation studies show that the proposed method is robust and outperforms the existing methods in a range of scenarios. We apply the proposed method to analysis of a lung cancer microarray data set and the 1000 Genomes data set.

연구 동기 및 목표

• 고차원 공분산 행렬에서 스파iked 고유값 수 $ K $ 를 추정하기 위해 전체 고유값 정보를 체계적으로 활용하는 방법의 부족을 해결하기 위해.
• 상위 고유값이나 고유값 갭에만 의존하지 않고 전체 고유값의 정보를 통합하는 원리적인 접근법을 개발하기 위해.
• 표준 스파iked 공분산 모델에서 $ p/n \to \gamma > 0 $ 일 때 추정량 $ \hat{K} $ 의 일致성을 확보하기 위해.
• 실제 응용에서 추정치의 해석 가능성과 신뢰성을 높이기 위해 $ K $ 에 대한 신뢰구간을 제공하기 위해.
• 실제 데이터(마이크로어레이 및 인구 게놈 데이터셋 포함)에서의 강인성과 뛰어난 성능을 입증하기 위해.

제안 방법

• 잔차 공분산 행렬을 서로 독립이고 동일하게 분포된 항목을 가진 대각행렬로 모델링하고, 전체 고유값이 渐近적으로 특정 분포를 따르도록 가정한다.
• 두 단계 절차를 사용한다: 첫째, 경험적 전체 고유값을 이용해 감마분포의 모수 $ (\hat{\sigma}^2, \hat{\theta}) $ 를 분위수 일치 방법으로 추정한다.
• 추정된 감마분포를 바탕으로 이론적 분위수 함수 $ G(x) $ 를 구성하여 전체 고유값의 기대 분위수를 모델링한다.
• 검정 통계량 $ \hat{T}_\beta $ 는 이론적 고유값 분포의 $ (1-\beta) $-분위수로 정의되어 스파iked 고유값이 시작되는 임계값을 탐지한다.
• 표본 고유값 중 $ \hat{T}_\beta $ 를 초과하는 개수로 $ \hat{K} $ 를 추정하며, 전체 분포에서 유도된 데이터 기반 임계값을 사용한다.
• 정규 조건 하에서 추정 임계값이 진짜 분위수로 수렴하고 모수 추정치의 渐近 정규성을 보여줌으로써 $ \hat{K} $ 의 일치성을 입증한다.

실험 결과

연구 질문

• RQ1 고차원 공분산 행렬에서 스파iked 고유값 수 $ K $ 를 추정하기 위해 전체 고유값을 체계적으로 활용할 수 있는가?
• RQ2 잔차 고유값을 감마분포로 가정함으로써 상위 고유값 전용 방법에 비해 더 강인하고 일치성이 높은 $ K $ 추정량을 얻을 수 있는가?
• RQ3 유한 표본 설정에서 기존 방법들인 평행 분석, 카이저 기준, 고유값 갭 탐지 방법과 비교할 때 제안된 방법의 성능은 어떠한가?
• RQ4 전체 고유값 매칭 프레임워크를 통해 $ K $ 에 대한 신뢰구간을 신뢰성 있게 구성할 수 있는가?
• RQ5 실제 데이터 응용에서 조정 파라미터(예: 분위수 수준 $ \beta $)의 변화에 강인한가?

주요 결과

• 제안된 BEMA 추정량 $ \hat{K} $ 는 $ p/n \to \gamma > 0 $ 일 때 표준 스파iked 공분산 모델 하에서 일치성을 보이며, $ |\hat{K} - K| \prec n^{-1} $ 이다.
• 시뮬레이션 연구에서 BEMA는 평행 분석, 카이저 기준, 고유값 갭 기반 추정량을 포함한 기존 방법들보다 다양한 시나리오에서 뛰어난 성능을 보이며, 특히 스파iked 고유값이 작은 경우에 뚜렷한 우월성을 보인다.
• 폐암 마이크로어레이 데이터에서는 BEMA가 $ \hat{K} = 1 $ 을 추정하고 90% 신뢰구간 [1,4] 를 제공하며, $ \alpha $ 값이 0.1에서 0.4 사이일 때 추정치가 안정적이다.
• 1000 Genomes 데이터셋에서는 BEMA가 $ \hat{K} = 28 $ 을 추정하고 90% 신뢰구간 [28,30] 을 제공하며, $ \alpha \in \{0.1, 0.2, 0.3, 0.4\} $ 범위에서 추정치가 안정적으로 유지되어 강인성을 보였다.
• 모수 추정치에서 높은 안정성을 확보하였다: $ \hat{\theta} $ 와 $ \hat{\sigma}^2 $ 는 다양한 $ \alpha $ 값에서 약간의 변동만을 보이며, 이에 따라 유도된 $ \hat{K} $ 는 테스트 범위 내에서 불변성을 유지한다.
• 감마분위수를 활용한 신뢰구간 구성은 불확실성에 대한 신뢰할 수 있는 측도를 제공하였으며, 두 실데이터 응용 모두에서 80% 구간이 진짜 $ K $ 를 포함하였다.