[논문 리뷰] Canonical correlation coefficients of high-dimensional normal vectors: finite rank case

Zhigang Bao, Jiang Hu외 2명|arXiv (Cornell University)|2014. 07. 27.

Advanced Algebra and Geometry인용 수 6

한 줄 요약

이 논문은 두 난수 벡터 간의 교차공분산 행렬이 유한한 질량을 갖는 고차원 설정에서의 표본 공분산 계수를 연구한다. 차원 수 대 표본 크기의 비율이 (0,1) 내의 상수로 수렴하는 조건 하에서, 가장 큰 표본 공분산 계수 고유값이 거의 확실히 임계값에 의존하는 한계로 수렴함을 입증하여, 고차원에서 진짜 유한질량 상관관계 구조를 일관되게 추정할 수 있음을 보여준다.

ABSTRACT

Consider a normal vector $\mathbf{z}=(\mathbf{x}',\mathbf{y}')'$, consisting of two sub-vectors $\mathbf{x}$ and $\mathbf{y}$ with dimensions $p$ and $q$ respectively. With $n$ independent observations of $\mathbf{z}$ at hand, we study the correlation between $\mathbf{x}$ and $\mathbf{y}$, from the perspective of the Canonical Correlation Analysis, under the high-dimensional setting: both $p$ and $q$ are proportional to the sample size $n$. In this paper, we focus on the case that $Σ_{\mathbf{x}\mathbf{y}}$ is of finite rank $k$, i.e. there are $k$ nonzero canonical correlation coefficients, whose squares are denoted by $r_1\geq\cdots\geq r_k>0$. Under the additional assumptions $(p+q)/n o y\in (0,1)$ and $p/q ot o 1$, we study the sample counterparts of $r_i,i=1,\ldots,k$, i.e. the largest k eigenvalues of the sample canonical correlation matrix $S_{\mathbf{x}\mathbf{x}}^{-1}S_{\mathbf{x}\mathbf{y}}S_{\mathbf{y}\mathbf{y}}^{-1}S_{\mathbf{y}\mathbf{x}}$, namely $λ_1\geq\cdots\geq λ_k$. We show that there exists a threshold $r_c\in(0,1)$, such that for each $i\in\{1,\ldots,k\}$, when $r_i\leq r_c$, $λ_i$ converges almost surely to the right edge of the limiting spectral distribution of the sample canonical correlation matrix, denoted by $d_r$. When $r_i>r_c$, $λ_i$ possesses an almost sure limit in $(d_r,1]$, from which we can recover $r_i$ in turn, thus provide an estimate of the latter in the high-dimensional scenario.

연구 동기 및 목표

• 모집단 교차공분산 행렬이 유한한 질량을 갖는 경우 표본 공분산 계수의 점근적 행동을 분석하는 것.
• 표본 크기 n과 비례하여 두 차원 p와 q가 모두 증가하는 고차원 설정에서 공분산 계수를 추정하는 데 도전하는 것.
• 고차원 점근적 조건 하에서 가장 큰 표본 공분산 계수 고유값의 거의 확실 수렴 성질을 확립하는 것.
• 표본 대응 고유값을 바탕으로 진짜 공분산 계수를 임계값 기반 추정 절차로 도출하는 것.
• 교차공분산 행렬에서 유한질량 구조가 존재할 때 고차원 다변량 분석의 추론을 위한 이론적 기초를 제공하는 것.

제안 방법

• 차원이 p와 q인 고차원 정규 난수 벡터 (x, y)를 모델링하며, p, q는 표본 크기 n에 비례하여 무한히 증가한다.
• 공분산 계수 행렬을 Σ_xx⁻¹Σ_xyΣ_yy⁻¹Σ_yx로 정의하며, 고유값 r_i는 제곱된 모집단 공분산 계수를 나타낸다.
• 교차공분산 행렬 Σ_xy가 유한한 질량 k를 갖는다고 가정하여, 유한한 k개의 비영공분산 계수만 존재함을 의미한다.
• 표본 공분산 계수 행렬 S_xx⁻¹S_xyS_yy⁻¹S_yx를 분석하며, 가장 큰 k개의 고유값 λ_i는 r_i의 표본 대응이다.
• 임의 행렬 이론과 유한질량 편향 기법을 적용하여 표본 행렬의 극한 스펙트럼 분포를 유도한다.
• r_c ∈ (0,1)인 임계값을 식별하여, r_i ≤ r_c 이면 λ_i가 극한 스펙트럼 분포의 오른쪽 끝 d_r로 거의 확실히 수렴하고, r_i > r_c 이면 (d_r, 1] 내의 값으로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 모집단 교차공분산 행렬이 유한한 질량을 갖는 경우, 가장 큰 표본 공분산 계수 고유값의 점근적 행동은 어떻게 되는가?
• RQ2 고차원 설정에서 표본 공분산 계수 행렬의 극한 분포는 참 공분산 계수에 어떻게 의존하는가?
• RQ3 p, q가 n에 대해 p+q ∼ yn (y ∈ (0,1)) 비율로 증가할 때, 진짜 공분산 계수를 표본 대응 고유값으로 일관되게 추정할 수 있는가?
• RQ4 임계값 r_c는 표본 고유값 수렴 행동을 결정하는 데 어떤 역할을 하는가?
• RQ5 고차원 MANOVA 유형 모델에서 가장 큰 표본 고유값이 어떤 조건에서 진짜 공분산 계수를 회복할 수 있는가?

주요 결과

• r_i ≤ r_c 이면, 표본 공분산 계수 고유값 λ_i가 표본 공분산 계수 행렬의 극한 스펙트럼 분포의 오른쪽 끝 d_r로 거의 확실히 수렴한다.
• r_i > r_c 이면, λ_i가 (d_r, 1] 구간 내의 값으로 거의 확실히 수렴하며, 이는 r_i에 따라 달라지며 진짜 r_i의 일관된 복원을 가능하게 한다.
• 임계값 r_c는 0과 1 사이이며, 점근적 비율 y = (p+q)/n ∈ (0,1)에 따라 달라진다.
• λ_i의 극한 행동은 r_c에서의 단계 전이에 의해 특징지어지며, 잡음 유사 고유값과 신호 유사 고유값을 구분한다.
• 결과는 p와 q가 n에 대해 크더라도 고차원 데이터에서 유한질량 공분산 계수 구조를 추정하기 위한 이론적 기초를 제공한다.
• 가정 (p+q)/n → y ∈ (0,1) 및 p/q가 1로 수렴하지 않는 조건 하에서 수렴은 거의 확실하며, 이는 고차원 영역에서의 안정성을 보장한다.