[论文解读] Limiting Laws for Divergent Spiked Eigenvalues and Largest Non-spiked Eigenvalue of Sample Covariance Matrices

Tommaso Cai, Xiao Han+1 more|arXiv (Cornell University)|Nov 1, 2017

Random Matrices and Applications参考文献 25被引用 16

一句话总结

该论文在具有发散总体特征值的广义发散特征值协方差模型下，建立了发散特征值的极限正态分布，以及最大非发散特征值的Tracy-Widom极限。它推导出依赖于发散特征值与非发散特征值的渐近均值，以及依赖于总体特征向量的渐近方差，其关键技术工具是用于依赖二次型的新中心极限定理。

ABSTRACT

We study the asymptotic distributions of the spiked eigenvalues and the largest nonspiked eigenvalue of the sample covariance matrix under a general covariance matrix model with divergent spiked eigenvalues, while the other eigenvalues are bounded but otherwise arbitrary. The limiting normal distribution for the spiked sample eigenvalues is established. It has distinct features that the asymptotic mean relies on not only the population spikes but also the nonspikes and that the asymptotic variance in general depends on the population eigenvectors. In addition, the limiting Tracy-Widom law for the largest nonspiked sample eigenvalue is obtained. Estimation of the number of spikes and the convergence of the leading eigenvectors are also considered. The results hold even when the number of the spikes diverges. As a key technical tool, we develop a Central Limit Theorem for a type of random quadratic forms where the random vectors and random matrices involved are dependent. This result can be of independent interest.

研究动机与目标

• 刻画当总体协方差矩阵具有发散数量的发散特征值时，样本特征值的渐近分布。
• 建立最大非发散样本特征值的极限分布，证明其收敛于Tracy-Widom分布。
• 发展一个用于依赖二次型的新型中心极限定理，这是推导极限分布的关键技术贡献。
• 提供尖峰数量的估计方法，并分析主导样本特征向量的收敛性。
• 将现有结果扩展至尖峰数量发散的情形，超越固定的K假设。

提出的方法

• 将样本协方差矩阵形式化为 $ \bf{S}_n = \frac{1}{n} \mathbb{\Gamma} \mathbf{X} \mathbf{X}^\top \mathbb{\Gamma}^\top $，其中 $ \mathbb{\Gamma} $ 为长方形矩阵，$ \mathbf{X} $ 的元素为独立同分布。
• 将总体协方差 $ \mathbb{\Sigma} = \mathbb{\Gamma} \mathbb{\Gamma}^\top $ 建模为具有 $ K $ 个发散尖峰特征值和 $ p-K $ 个有界非尖峰特征值。
• 应用一种用于形式为 $ \mathbf{r}_i^\top \underline{\mathbf{A}}_i^{-1} \mathbf{r}_i $ 的二次型的新中心极限定理，其中随机向量与矩阵之间存在依赖关系。
• 使用再生核方法与Stieltjes变换技术分析再生核的迹，并推导渐近矩。
• 通过条件期望与扰动展开，对再生核 $ \underline{\mathbf{A}}_1^{-1} $ 进行递归分解。
• 建立 $ \sqrt{n} \left( \frac{1}{n} \mathbb{E} \, \mathrm{tr} \, \mathbf{A}^{-1} + \tilde{m}_\theta(1) \right) \to 0 $ 的收敛性，将经验迹与极限Stieltjes变换联系起来。

实验结果

研究问题

• RQ1 当对应总体特征值发散时，尖峰样本特征值的极限分布是什么？
• RQ2 尖峰特征值的渐近均值与方差如何依赖于非尖峰特征值与特征向量？
• RQ3 在发散尖峰模型下，最大非尖峰样本特征值是否仍服从Tracy-Widom分布？
• RQ4 能否在高维随机矩阵理论中为依赖二次型建立中心极限定理？
• RQ5 在发散尖峰情形下，主导样本特征向量如何收敛于总体特征向量？

主要发现

• 尖峰样本特征值依分布收敛于正态极限，其渐近均值依赖于总体的尖峰与非尖峰特征值。
• 尖峰特征值的渐近方差依赖于总体特征向量，表明特征向量结构会影响估计精度。
• 即使尖峰数量发散，最大非尖峰样本特征值仍依分布收敛于阶数为1的Tracy-Widom分布。
• 为一类依赖二次型建立了新的中心极限定理，这是关键技术贡献，具有潜在的广泛适用性。
• 可通过特征值行为一致估计尖峰数量，且在适当归一化下，主导样本特征向量收敛于总体特征向量。
• 证明了再生核迹的收敛速度为 $ o(n^{-1/2}) $，从而保证了渐近正态性与Tracy-Widom极限的有效性。