[论文解读] Asymptotics of eigenstructure of sample correlation matrices for high-dimensional spiked models

David Morales‐Jiménez, Iain M. Johnstone+2 more|arXiv (Cornell University)|Oct 24, 2018

Random Matrices and Applications参考文献 36被引用 10

一句话总结

该论文推导了高维稀疏模型中样本相关矩阵的特征值和特征向量的一阶渐近行为及极限分布，其中少数总体特征值显著大于其他特征值。利用随机矩阵理论，研究发现虽然特征值的一阶行为与样本协方差矩阵一致，但基于相关性的估计下，特征值和特征向量的渐近波动显著减小，揭示了在高维设置下两者之间关键的分布差异。

ABSTRACT

Sample correlation matrices are employed ubiquitously in statistics. However, quite surprisingly, little is known about their asymptotic spectral properties for high-dimensional data, particularly beyond the case of "null models" for which the data is assumed independent. Here, considering the popular class of spiked models, we apply random matrix theory to derive asymptotic first-order and distributional results for both the leading eigenvalues and eigenvectors of sample correlation matrices. These results are obtained under high-dimensional settings for which the number of samples n and variables p approach infinity, with p/n tending to a constant. To first order, the spectral properties of sample correlation matrices are seen to coincide with those of sample covariance matrices; however their asymptotic distributions can differ significantly, with fluctuations of both the sample eigenvalues and eigenvectors often being remarkably smaller than those of their sample covariance counterparts.

研究动机与目标

• 理解样本相关矩阵在零假设之外的高维渐近谱性质。
• 解决高维稀疏模型中特征值和特征向量缺乏理论理解的问题。
• 为样本相关矩阵的主导特征值和特征向量建立一阶渐近结果和极限分布。
• 比较相同高维环境下样本相关矩阵与样本协方差矩阵的渐近波动。
• 为使用相关矩阵进行主成分分析及相关方法的统计推断提供严格的理论基础。

提出的方法

• 将随机矩阵理论应用于高维稀疏模型，其中比例 $ p/n \to \gamma \in (0, \infty) $。
• 通过相关矩阵的谱分析，推导样本特征值和特征向量的一阶渐近行为。
• 通过分析重标化的特征值过程及其收敛性，建立特征值和特征向量的极限分布。
• 利用条件概率和矩准则，证明与特征值和特征向量波动相关的随机过程的紧致性。
• 采用特征值扰动界和舒尔补分解，将相关矩阵的特征值与变换后的核矩阵的特征值联系起来。
• 借鉴先前关于样本协方差矩阵的研究成果（如 Bai 和 Silverstein，Gao 等人），并通过条件化和集中不等式论证，将其推广至相关性设定。

实验结果

研究问题

• RQ1 在高维稀疏模型中，样本相关矩阵的特征值和特征向量的渐近分布与样本协方差矩阵有何不同？
• RQ2 当 $ p/n \to \gamma > 0 $ 时，样本相关矩阵的主导特征值和特征向量的一阶渐近行为是什么？
• RQ3 样本相关矩阵中特征值和特征向量的波动相比协方差矩阵减少了多少？
• RQ4 在稀疏模型假设下，样本相关矩阵最大特征值的极限分布能否被刻画？
• RQ5 总体特征向量的结构在相关矩阵设定下如何影响样本特征向量的渐近行为？

主要发现

• 在相同稀疏模型下，样本相关矩阵的特征值和特征向量的一阶渐近行为与样本协方差矩阵一致。
• 样本相关矩阵中特征值和特征向量的渐近波动显著小于样本协方差矩阵，表明存在方差缩减效应。
• 样本相关矩阵最大特征值的极限分布并非如协方差情形下的 Tracy-Widom 分布，这是由于波动减小所致。
• 样本特征向量与总体特征向量的投影收敛于分布，但在基于相关性的估计下，其渐近方差更小。
• 样本相关矩阵的线性谱统计的渐近分布可通过中心极限定理刻画，但其极限方差与协方差情形不同。
• 特征值扰动界和舒尔补分解是建立高维环境下样本特征值估计一致性的关键工具。