[论文解读] Asymptotic Joint Distribution of Extreme Sample Eigenvalues and Eigenvectors in the Spiked Population Model

Dai Shi|arXiv (Cornell University)|Apr 22, 2013

Random Matrices and Applications参考文献 19被引用 7

一句话总结

该论文建立了在谱型总体模型中极端样本特征值与特征向量的渐近联合分布，其中总体协方差矩阵具有有限个非单位特征值。在一般矩条件之下，极端特征值及其对应的特征向量联合收敛到具有显式计算协方差结构的多元正态分布；在高斯分布条件下，特征值包在渐近意义上相互独立，且具有独立的局部波动。

ABSTRACT

In this paper, we consider a data matrix $X_N\in\mathbb{R}^{N imes p}$ where all the rows are i.i.d. samples in $\mathbb{R}^p$ of mean zero and covariance matrix $Σ\in\mathbb{R}^{p imes p}$. Here the population matrix $Σ$ is of finite rank perturbation of the identity matrix. This is the "spiked population model" first proposed by Johnstone. As $N, p o\infty$ but $N/p o γ\in(1, \infty)$, for the sample covariance matrix $S_N := X_NX_N^T/N$, we establish the joint distribution of the largest and the smallest few packs of eigenvalues. Inside each pack, they will behave the same as the eigenvalues drawn from a Gaussian matrix of the corresponding size. Among different packs, we also calculate the covariance between the Gaussian matrices entries. As a corollary, if all the rows of the data matrix are Gaussian, then these packs will be asymptotically independent. Also, the asymptotic behavior of sample eigenvectors are obtained. Their local fluctuation is also Gaussian with covariance explicitly calculated.

研究动机与目标

• 刻画在谱型总体模型中最大和最小样本特征值的联合渐近分布。
• 推导样本特征向量的极限分布，包括其局部波动。
• 计算特征值与特征向量极限高斯分布的显式协方差结构。
• 建立特征值包渐近独立的条件，特别是在高斯抽样下的情况。
• 将 universality 结果从零假设情况（即马尔琴科-帕斯图尔定律）扩展到谱型模型。

提出的方法

• 分析将数据矩阵分解为信号与噪声分量，其中信号子空间由谱型特征值张成。
• 该方法依赖于在总体参数附近对样本特征值与特征向量进行二阶展开，使用再生核技术与谱投影方法。
• 通过涉及数据四阶矩的矩展开与迹渐近分析，推导极限高斯分布的协方差矩阵。
• 利用特征值与特征向量分量的线性统计量的多变量中心极限定理，建立特征值与特征向量的联合收敛性。
• 证明利用了有限四阶矩假设与谱型结构，将极端特征值的渐近行为与整体部分解耦。
• 通过涉及投影矩阵的矩阵积的归一化迹的极限，推导出极限协方差矩阵的显式表达式。

实验结果

研究问题

• RQ1 当 N 和 p 同时趋于无穷且满足 N/p → γ ∈ (1, ∞) 时，极端样本特征值在谱型总体模型中的联合行为如何？
• RQ2 对应于极端特征值的样本特征向量的联合渐近分布是什么？
• RQ3 不同包中特征值之间的协方差（谱型与非谱型）如何渐近表现？
• RQ4 在何种条件下特征值包会渐近独立？
• RQ5 样本特征向量的局部波动结构如何？其与特征值波动的关系是什么？

主要发现

• 极端样本特征值的联合分布收敛到多元正态分布，其协方差矩阵由数据分布的前四阶矩显式确定。
• 样本特征向量的局部波动渐近服从正态分布，其协方差结构取决于数据的四阶矩。
• 样本特征向量与特征值之间极限协方差被显式计算，并表明其仅依赖于底层分布的四阶矩。
• 当数据为高斯分布时，不同包中的样本特征值渐近独立，且特征向量波动与特征值波动相互独立。
• 样本特征向量与真实特征向量之间的夹角收敛到一个非退化的常数，其围绕该常数具有类似中心极限定理的波动。
• 通过涉及谱型子空间投影算子的矩阵积的迹极限，以闭式形式推导出特征值与特征向量的极限协方差矩阵。