[论文解读] Canonical correlation coefficients of high-dimensional Gaussian vectors: finite rank case

Zhigang Bao, Jiang Hu+2 more|arXiv (Cornell University)|Apr 8, 2017

Random Matrices and Applications参考文献 36被引用 7

一句话总结

本文研究了高维正态向量中典型相关系数的性质，其中交叉协方差矩阵的秩为有限值 $k$。研究建立了相变阈值 $r_c \in (0,1)$：当总体典型相关系数平方 $r_i > r_c$ 时，样本特征值 $λ_i$ 几乎必然收敛到 $(d_+, 1]$ 内的极限值，从而实现一致估计；否则，$λ_i \to d_+$，即极限谱分布的边缘。波动行为取决于 $r_i$ 相对于 $r_c$ 的位置，遵循 Tracy-Widom 或高斯分布。结果为在有限秩结构下的高维典型相关分析提供了非渐近理论。

ABSTRACT

Consider a Gaussian vector $\mathbf{z}=(\mathbf{x}',\mathbf{y}')'$, consisting of two sub-vectors $\mathbf{x}$ and $\mathbf{y}$ with dimensions $p$ and $q$ respectively, where both $p$ and $q$ are proportional to the sample size $n$. Denote by $Σ_{\mathbf{u}\mathbf{v}}$ the population cross-covariance matrix of random vectors $\mathbf{u}$ and $\mathbf{v}$, and denote by $S_{\mathbf{u}\mathbf{v}}$ the sample counterpart. The canonical correlation coefficients between $\mathbf{x}$ and $\mathbf{y}$ are known as the square roots of the nonzero eigenvalues of the canonical correlation matrix $Σ_{\mathbf{x}\mathbf{x}}^{-1}Σ_{\mathbf{x}\mathbf{y}}Σ_{\mathbf{y}\mathbf{y}}^{-1}Σ_{\mathbf{y}\mathbf{x}}$. In this paper, we focus on the case that $Σ_{\mathbf{x}\mathbf{y}}$ is of finite rank $k$, i.e. there are $k$ nonzero canonical correlation coefficients, whose squares are denoted by $r_1\geq\cdots\geq r_k>0$. We study the sample counterparts of $r_i,i=1,\ldots,k$, i.e. the largest $k$ eigenvalues of the sample canonical correlation matrix $§_{\mathbf{x}\mathbf{x}}^{-1}§_{\mathbf{x}\mathbf{y}}§_{\mathbf{y}\mathbf{y}}^{-1}§_{\mathbf{y}\mathbf{x}}$, denoted by $λ_1\geq\cdots\geq λ_k$. We show that there exists a threshold $r_c\in(0,1)$, such that for each $i\in\{1,\ldots,k\}$, when $r_i\leq r_c$, $λ_i$ converges almost surely to the right edge of the limiting spectral distribution of the sample canonical correlation matrix, denoted by $d_{+}$. When $r_i>r_c$, $λ_i$ possesses an almost sure limit in $(d_{+},1]$. We also obtain the limiting distribution of $λ_i$'s under appropriate normalization. Specifically, $λ_i$ possesses Gaussian type fluctuation if $r_i>r_c$, and follows Tracy-Widom distribution if $r_i

研究动机与目标

• 为高维设置下（$p, q \sim n$）的典型相关分析（CCA）建立非渐近理论。
• 分析当总体交叉协方差矩阵 $\Sigma_{xy}$ 的秩为有限值 $k$ 时，样本典型相关系数的行为。
• 识别一个临界阈值 $r_c \in (0,1)$，用以区分两种情形：一种是样本特征值收敛至谱边缘 $d_+$，另一种是收敛至严格大于 $d_+$ 的值。
• 在适当归一化下，推导最大样本典型相关系数特征值 $λ_i$ 的极限分布，区分 Tracy-Widom 与高斯型波动。

提出的方法

• 作者将联合高斯向量 $\mathbf{z} = (\mathbf{x}^\top, \mathbf{y}^\top)^\top$ 建模为 $p, q$ 维，具有 $n$ 个独立同分布样本，重点研究样本典型相关矩阵 $S_{xx}^{-1}S_{xy}S_{yy}^{-1}S_{yx}$。
• 利用随机矩阵理论工具（特别是 Stieltjes 变换和变形 Wigner 矩阵的局部律），分析样本 CCA 矩阵的极限谱分布。
• 关键技术创新在于推导出变形样本 CCA 矩阵的预解式局部律，从而控制最大特征值的位置与波动。
• 通过阈值 $r_c$ 识别相变现象：若 $r_i \leq r_c$，则 $λ_i \to d_+$ 几乎必然；若 $r_i > r_c$，则 $λ_i \to \ell_i > d_+$，其中 $\ell_i$ 依赖于 $r_i$。
• 推导出极限波动行为：若 $r_i < r_c$，$λ_i$ 服从 Tracy-Widom 分布；若 $r_i > r_c$，$λ_i$ 服从高斯分布，均在适当归一化下成立。
• 分析依赖于将预解式与其确定性等价物进行详细比较，利用自洽方程和多分辨率方法控制误差项。

实验结果

研究问题

• RQ1 当总体交叉协方差矩阵 $\Sigma_{xy}$ 的秩为有限值 $k$ 时，最大样本典型相关系数 $λ_i$ 的极限行为是什么？
• RQ2 是否存在一个基于总体典型相关系数平方 $r_i$ 大小的相变，影响 $λ_i$ 的极限行为？
• RQ3 $λ_i$ 的波动行为如何渐近表现？其波动是否依据 $r_i$ 相对于临界阈值 $r_c$ 的位置，分别服从 Tracy-Widom 或高斯分布？
• RQ4 在高维情形 $p, q \sim n$ 下，能否从样本特征值 $λ_i$ 一致估计总体典型相关系数 $r_i$？
• RQ5 样本典型相关矩阵的极限谱分布是什么？当 $r_i \leq r_c$ 时，$λ_i$ 的几乎必然极限是什么？

主要发现

• 存在一个临界阈值 $r_c \in (0,1)$，使得当 $r_i \leq r_c$ 时，$λ_i \to d_+$ 几乎必然成立，其中 $d_+$ 是样本 CCA 矩阵极限谱分布的右边缘。
• 若 $r_i > r_c$，则 $λ_i$ 几乎必然收敛至一个极限值 $\ell_i \in (d_+, 1]$，这使得在高维情形下可从 $λ_i$ 一致估计 $r_i$。
• 当 $r_i < r_c$ 时，$λ_i$ 的极限波动服从 Tracy-Widom 分布，表明其具有随机矩阵理论中边缘特征值的极值统计特性。
• 当 $r_i > r_c$ 时，$λ_i$ 的波动服从高斯分布，表明非边缘特征值具有中心极限行为。
• 结果为在有限秩结构下的高维 CCA 中样本典型相关系数提供了完整的非渐近刻画。
• 该理论使得即使在 $p, q \sim n$ 的高维情形下，也能通过利用 $r_c$ 处的相变现象，一致估计真实典型相关系数 $r_i$。