[논문 리뷰] Sample canonical correlation coefficients of high-dimensional random vectors with finite rank correlations

Zongming Ma, Fan Yang|arXiv (Cornell University)|2021. 02. 05.

Random Matrices and Applications참고 문헌 52인용 수 8

한 줄 요약

이 논문은 유한계수 상관관계를 가진 고차원 난수 벡터에서 표본 공통상관계계수(CC)의 BBP 상전이를 확립한다. 날카로운 네 번째 모멘트 조건 하에서, 인구 CC가 임계값 이하일 경우 표본 CC는 트레이시-위도름 변동을 보이며 군집의 가장자리로 수렴하는 반면, 임계값을 초과할 경우 군집 스펙트럼에서 분리된 외부자이기를 보인다. 이는 근접한 기하학적 특성이나 임계 상태일 때도 성립한다.

ABSTRACT

Consider two random vectors $\widetilde{\mathbf x} \in \mathbb R^p$ and $\widetilde{\mathbf y} \in \mathbb R^q$ of the forms $\widetilde{\mathbf x}=A\mathbf z+\mathbf C_1^{1/2}\mathbf x$ and $\widetilde{\mathbf y}=B\mathbf z+\mathbf C_2^{1/2}\mathbf y$, where $\mathbf x\in \mathbb R^p$, $\mathbf y\in \mathbb R^q$ and $\mathbf z\in \mathbb R^r$ are independent vectors with i.i.d. entries of mean 0 and variance 1, $\mathbf C_1$ and $\mathbf C_2$ are $p imes p$ and $q imes q$ deterministic covariance matrices, and $A$ and $B$ are $p imes r$ and $q imes r$ deterministic matrices. With $n$ independent observations of $(\widetilde{\mathbf x},\widetilde{\mathbf y})$, we study the sample canonical correlations between $\widetilde{\mathbf x} $ and $\widetilde{\mathbf y}$. We consider the high-dimensional setting with finite rank correlations. Let $t_1\ge t_2 \ge \cdots\ge t_r$ be the squares of the nontrivial population canonical correlation coefficients, and let $\widetildeλ_1 \ge\widetildeλ_2\ge\cdots\ge\widetildeλ_{p\wedge q}$ be the squares of the sample canonical correlation coefficients. If the entries of $\mathbf x$, $\mathbf y$ and $\mathbf z$ are i.i.d. Gaussian, then the following dichotomy has been shown in [7] for a fixed threshold $t_c \in(0, 1)$: for $1\le i \le r$, if $t_i < t_c$, then $\widetildeλ_i$ converges to the right-edge $λ_+$ of the limiting eigenvalue spectrum of the sample canonical correlation matrix; if $t_i>t_c$, then $\widetildeλ_i$ converges to a deterministic limit $θ_i \in (λ_+,1)$ determined by $t_i$. In this paper, we prove that these results hold universally under the sharp fourth moment conditions on the entries of $\mathbf x$ and $\mathbf y$. Moreover, we prove the results in full generality, in the sense that they also hold for near-degenerate $t_i$'s and for $t_i$'s that are close to the threshold $t_c$.

연구 동기 및 목표

• p, q, n이 비례적으로 증가하는 고차원 설정에서 표본 공통상관계계수(CC)의 점근적 행동을 이해하기 위해.
• p와 q가 n과 유사할 때 발생하는 '차원의 저주'로 인해 고전적 CCA 이론이 붕괴되는 문제를 다루기 위해.
• 유한계수 상관관계가 존재하는 상황에서 표본 CC에 대한 단계 전이 현상—즉, BBP 전이—를 확립하기 위해.
• 근접한 기하학적 특성을 가진 인구 CC나 임계값에 매우 가까운 경우에도 BBP 전이를 확장하기 위해.
• 최소한의 모멘트 가정 하에 표본 공통상관계수 행렬의 고유값 행동에 대한 엄밀한 비점근적 분석을 제공하기 위해.

제안 방법

• 두 고차원 난수 벡터를 독립적이고 동일분포를 가진 성분들과 낮은 질량의 요인 하중의 선형 조합으로 모델링한다.
• 인구 공통상관계수(PCC) 행렬을 인구 공분산 및 교차공분산 행렬을 사용하여 유도한다.
• n개의 i.i.d. 관측치를 n^{-1/2}로 스케일링하여 형성된 표본 공통상관계수(SCC) 행렬을 분석한다.
• 국소 법칙과 스펙트럼 분석을 적용하여 SCC 행렬의 고유값 분포를 연구한다.
• Y와 Y + tBZ 사이의 보간 행렬 경로를 사용하여 고유값의 연속성을 추적하고 임계값을 넘는 것을 피한다.
• 정적 정규화와 교란 분석을 활용하여 리소르베이트를 제어하고 그린 함수에 대한 균일한 경계를 확립한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 인구 공통상관계수(CC)가 임계값에 매우 가까울 경우, 표본 공통상관계수(CC)는 단계 전이를 보일까?
• RQ2 인구 CC가 임계값 이하일 경우, 표본 CC는 군집의 가장자리로 수렴하고 트레이시-위도름 변동을 따를까?
• RQ3 근접한 기하학적 특성을 가진 인구 CC나 임계값에 매우 가까운 경우에도 BBP 전이를 확립할 수 있을까?
• RQ4 날카로운 네 번째 모멘트 조건은 고차원 CCA에서 표본 CC의 수렴 및 변동 행동에 어떤 영향을 미치는가?
• RQ5 최소한의 모멘트 가정 하에서도 군집 스펙트럼 가장자리로 수렴하는 표본 CC에 대해 트레이시-위도름 법칙이 여전히 유효한가?

주요 결과

• 인구 공통상관계수(CC)가 임계값 이하일 경우, 해당하는 표본 공통상관계수(CC)는 표본 공통상관계수 행렬의 군집 고유값 스펙트럼의 오른쪽 가장자리로 수렴한다.
• 인구 CC가 임계값 이하일 경우, 표본 CC는 극한에서 트레이시-위도름 법칙을 만족하여 보편적인 변동 행동을 나타낸다.
• 인구 CC가 임계값을 초과할 경우, 해당하는 표본 CC는 군집 고유값 스펙트럼에서 분리된 외부자로 수렴한다.
• 근접한 기하학적 특성을 가진 인구 CC나 임계값에 매우 가까운 경우에도 BBP 전이가 성립하여 단계 전이의 강건성을 입증한다.
• 결과는 기저 난수 벡터의 i.i.d. 성분에 대한 날카로운 네 번째 모멘트 조건 하에서 확립되었으며, 최소한의 모멘트 가정을 보장한다.
• 연속적인 보간 경로와 그린 함수에 대한 고확률 경계를 통해 리소르베이트와 고유값 연속성을 엄밀히 제어하였다.