[논문 리뷰] Canonical correlation coefficients of high-dimensional Gaussian vectors: finite rank case

Zhigang Bao, Jiang Hu외 2명|arXiv (Cornell University)|2017. 04. 08.

Random Matrices and Applications참고 문헌 36인용 수 7

한 줄 요약

이 논문은 교차공분산 행렬의 질량이 유한한 $k$인 고차원 정규 벡터에서의 표준상관계수를 연구한다. 인구 표준상관관계수의 제곱 $r_i > r_c$일 때, 표본 고유값 $ \lambda_i$는 거의 확실히 $(d_+, 1]$ 내의 극한값으로 수렴하며, 이는 일관된 추정을 가능하게 한다. 반면 $r_i \leq r_c$이면 $ \lambda_i \to d_+$로 수렴하며, 이는 한계 스펙트럼 분포의 가장자리이다. 변동성은 $r_i$가 $r_c$와 비교하여 어느 쪽에 있는지에 따라 트레이시-위드먼 또는 가우시안 분포를 따른다. 본 결과는 유한질량 구조 하에서 고차원 CCA에 대한 비점근 이론을 제공한다.

ABSTRACT

Consider a Gaussian vector $\mathbf{z}=(\mathbf{x}',\mathbf{y}')'$, consisting of two sub-vectors $\mathbf{x}$ and $\mathbf{y}$ with dimensions $p$ and $q$ respectively, where both $p$ and $q$ are proportional to the sample size $n$. Denote by $Σ_{\mathbf{u}\mathbf{v}}$ the population cross-covariance matrix of random vectors $\mathbf{u}$ and $\mathbf{v}$, and denote by $S_{\mathbf{u}\mathbf{v}}$ the sample counterpart. The canonical correlation coefficients between $\mathbf{x}$ and $\mathbf{y}$ are known as the square roots of the nonzero eigenvalues of the canonical correlation matrix $Σ_{\mathbf{x}\mathbf{x}}^{-1}Σ_{\mathbf{x}\mathbf{y}}Σ_{\mathbf{y}\mathbf{y}}^{-1}Σ_{\mathbf{y}\mathbf{x}}$. In this paper, we focus on the case that $Σ_{\mathbf{x}\mathbf{y}}$ is of finite rank $k$, i.e. there are $k$ nonzero canonical correlation coefficients, whose squares are denoted by $r_1\geq\cdots\geq r_k>0$. We study the sample counterparts of $r_i,i=1,\ldots,k$, i.e. the largest $k$ eigenvalues of the sample canonical correlation matrix $§_{\mathbf{x}\mathbf{x}}^{-1}§_{\mathbf{x}\mathbf{y}}§_{\mathbf{y}\mathbf{y}}^{-1}§_{\mathbf{y}\mathbf{x}}$, denoted by $λ_1\geq\cdots\geq λ_k$. We show that there exists a threshold $r_c\in(0,1)$, such that for each $i\in\{1,\ldots,k\}$, when $r_i\leq r_c$, $λ_i$ converges almost surely to the right edge of the limiting spectral distribution of the sample canonical correlation matrix, denoted by $d_{+}$. When $r_i>r_c$, $λ_i$ possesses an almost sure limit in $(d_{+},1]$. We also obtain the limiting distribution of $λ_i$'s under appropriate normalization. Specifically, $λ_i$ possesses Gaussian type fluctuation if $r_i>r_c$, and follows Tracy-Widom distribution if $r_i

연구 동기 및 목표

• 표본 수 $p, q \sim n$인 고차원 설정에서 표준상관관계분석(CCA)에 대한 비점근 이론을 개발하기 위해.
• 인구 교차공분산 행렬 $\Sigma_{xy}$의 질량이 유한한 $k$일 때 표본 표준상관관계수의 행동을 분석하기 위해.
• 표본 고유값이 스펙트럼 가장자리 $d_+$로 수렴하는지, 아니면 $d_+$보다 엄밀히 큰 값으로 수렴하는지 나누는 두 영역을 구분하는 임계 임계값 $r_c \in (0,1)$을 규명하기 위해.
• 적절한 정규화 하에 가장 큰 표본 표준상관관계수 고유값 $\lambda_i$의 한계 분포를 유도하여, 트레이시-위드먼과 가우시안 유형의 변동성을 구분하기 위해.

제안 방법

• 저자들은 $p, q$ 차원과 $n$개의 i.i.d. 표본을 가진 연합 정규 벡터 $\mathbf{z} = (\mathbf{x}^\top, \mathbf{y}^\top)^\top$를 모델링하며, 표본 표준상관관계수 행렬 $S_{xx}^{-1}S_{xy}S_{yy}^{-1}S_{yx}$에 집중한다.
• 특히 변형된 위글 행렬에 대한 스텔리츠 변환과 국소 법칙을 사용하여 표본 CCA 행렬의 한계 스펙트럼 분포를 분석한다.
• 핵심적인 기술적 혁신은 변형된 표본 CCA 행렬의 리졸베이트에 대한 국소 법칙을 도출함으로써, 가장 큰 고유값의 위치와 변동성을 제어할 수 있도록 하는 것이다.
• 단계 전이의 핵심은 $r_c$ 임계값을 통해 도출되며, $r_i \leq r_c$이면 $\lambda_i \to d_+$이며, $r_i > r_c$이면 $\lambda_i \to \ell_i > d_+$로 수렴하며, 이때 $\ell_i$는 $r_i$에 따라 달라진다.
• 한계 변동성 행동은 다음과 같이 도출된다: $r_i < r_c$이면 $\lambda_i$는 트레이시-위드먼 분포를 따르며, $r_i > r_c$이면 가우시안 분포를 따르며, 적절한 정규화 하에 성립한다.
• 분석은 리졸베이트와 그 결정론적 등가물 간의 정밀한 비교에 기반하며, 자기일관 방정식과 오차 항을 제어하기 위한 다중해상도 접근법을 사용한다.

실험 결과

연구 질문

• RQ1 인구 교차공분산 행렬 $\Sigma_{xy}$의 질량이 유한한 $k$일 때, 가장 큰 표본 표준상관관계수 고유값 $\lambda_i$의 한계 행동은 무엇인가?
• RQ2 인구 표준상관관계수의 제곱 $r_i$의 크기에 따라 $\lambda_i$의 한계 행동에서 단계 전이가 발생하는가?
• RQ3 $\lambda_i$의 변동성은 渐近적으로 어떻게 행동하는가? 그리고 $r_i$가 임계값 $r_c$과 비교하여 어느 쪽에 있는지에 따라 트레이시-위드먼 또는 가우시안 법칙을 따르는가?
• RQ4 고차원 설정 $p, q \sim n$에서 표본 고유값 $\lambda_i$로부터 인구 표준상관관계수 $r_i$를 일관되게 추정할 수 있는가?
• RQ5 표본 표준상관관계수 행렬의 한계 스펙트럼 분포는 무엇이며, $r_i \leq r_c$일 때 $\lambda_i$의 거의 확실한 극한값은 무엇인가?

주요 결과

• 임계값 $r_c \in (0,1)$이 존재하며, $r_i \leq r_c$이면 $\lambda_i \to d_+$로 거의 확실히 수렴한다. 여기서 $d_+$는 표본 CCA 행렬의 한계 스펙트럼 분포의 오른쪽 가장자리이다.
• 만약 $r_i > r_c$이면 $\lambda_i$는 거의 확실히 $\ell_i \in (d_+, 1]$ 내의 극한값으로 수렴하며, 이는 고차원 설정에서 $r_i$를 $\lambda_i$로부터 일관된 추정이 가능함을 의미한다.
• $r_i < r_c$일 때 $\lambda_i$의 한계 변동성은 트레이시-위드먼 분포를 따르며, 이는 랜덤 매트릭스 이론에서 가장자리 고유값의 극단가 통계적 행동을 나타낸다.
• $r_i > r_c$일 때 $\lambda_i$의 변동성은 가우시안 분포를 따르며, 이는 스펙트럼 가장자리에 있지 않은 고유값의 중심극한행동을 나타낸다.
• 본 결과는 유한질량 구조 하에서 고차원 CCA의 표본 표준상관관계수를 완전히 비점근적으로 특성화한다.
• 이 이론은 $p, q \sim n$일지라도, $r_c$에서의 단계 전이를 활용하여 진정한 표준상관관계수 $r_i$를 고차원 데이터로부터 일관되게 추정할 수 있도록 한다.