[论文解读] Eigenvectors of some large sample covariance matrix ensembles

Olivier Ledoit, Sandrine Péché|ArXiv.org|Nov 16, 2009

Random Matrices and Applications参考文献 23被引用 11

一句话总结

本文在高维随机矩阵理论框架下推导了样本协方差矩阵特征向量的渐近行为，通过斯蒂尔杰斯变换建立了样本特征向量与总体特征向量之间的函数关系。主要贡献在于提出了一种样本特征值的偏差校正估计器，从而在高维设置下实现了对总体协方差矩阵及其逆矩阵的改进估计。

ABSTRACT

We consider sample covariance matrices $S_N=\frac{1}{p}Σ_N^{1/2}X_NX_N^* Σ_N^{1/2}$ where $X_N$ is a $N imes p$ real or complex matrix with i.i.d. entries with finite $12^{ m th}$ moment and $Σ_N$ is a $N imes N$ positive definite matrix. In addition we assume that the spectral measure of $Σ_N$ almost surely converges to some limiting probability distribution as $N o \infty$ and $p/N o γ>0.$ We quantify the relationship between sample and population eigenvectors by studying the asymptotics of functionals of the type $\frac{1}{N} ext{Tr} (g(Σ_N) (S_N-zI)^{-1})),$ where $I$ is the identity matrix, $g$ is a bounded function and $z$ is a complex number. This is then used to compute the asymptotically optimal bias correction for sample eigenvalues, paving the way for a new generation of improved estimators of the covariance matrix and its inverse.

研究动机与目标

• 在高维极限下，刻画样本协方差矩阵特征向量相对于总体特征向量的渐近偏离行为。
• 利用涉及斯蒂尔杰斯变换的核矩阵函数，量化样本特征向量与总体特征向量之间的关系。
• 推导样本特征值的渐近最优偏差校正方法，以改进协方差矩阵的估计。
• 建立样本协方差矩阵的经验谱分布收敛到确定性极限的条件。
• 为在高维设置下构建协方差矩阵及其逆矩阵的改进估计器提供理论基础。

提出的方法

• 使用核矩阵 $(S_N - zI)^{-1}$ 及其迹函数 $\frac{1}{N}\mathrm{Tr}\left(g(\Sigma_N)(S_N - zI)^{-1}\right)$ 分析特征向量行为。
• 应用限制谱分布 $F$ 的斯蒂尔杰斯变换 $m_F(z)$ 来刻画渐近特征值分布。
• 采用马尔琴科-帕斯图尔定律及其改进版本，描述在 $p/N \to \gamma > 0$ 条件下限制谱测度 $F$ 的性质。
• 通过变换后的斯蒂尔杰斯变换 $\Theta^{-1}(z)$ 的逆，推导特征向量投影的渐近分布。
• 利用复分析及涉及斯蒂尔杰斯变换虚部的反演公式，恢复累积分布函数。
• 应用随机矩阵理论中的结果，包括经验谱分布的收敛性，以及当 $z \to \lambda \in \mathbb{R}$ 时斯蒂尔杰斯变换极限的存在性。

实验结果

研究问题

• RQ1 在高维渐近下，样本协方差矩阵的特征向量如何偏离总体协方差矩阵的特征向量？
• RQ2 当 $N \to \infty$ 时，泛函 $\frac{1}{N}\mathrm{Tr}\left(g(\Sigma_N)(S_N - zI)^{-1}\right)$ 的极限行为是什么？
• RQ3 能否利用推导出的特征向量关系对样本特征值的偏差进行渐近校正？
• RQ4 样本协方差矩阵的限制谱分布 $F$ 与总体谱分布 $H$ 之间有何关系？
• RQ5 在何种条件下可保证限制斯蒂尔杰斯变换及其在实轴上的边界值存在且连续？

主要发现

• 特征向量投影的渐近分布由 $\Psi(x) = \int_{-\infty}^x \psi(\lambda) \, dF(\lambda)$ 描述，其中 $\psi(\lambda)$ 是由斯蒂尔杰斯变换导出的偏差校正函数。
• 当 $\gamma > 1$ 时，偏差校正特征值估计器为 $\Psi(x) = \int_{-\infty}^x \frac{1 - \gamma^{-1} - 2\gamma^{-1}\lambda \, \mathrm{Re}[\breve{m}_F(\lambda)]}{\lambda} \, dF(\lambda)$。
• 当 $\gamma < 1$ 时，偏差校正包含在零点的不连续性，其形式为 $\Psi(x) = \int_{-\infty}^x \left[-\breve{m}_{\underline{F}}(0) + \frac{1}{1 - \gamma} \breve{m}_H(0) \right] \, dF(\lambda)$，在 $\lambda = 0$ 附近成立。
• 在假设 $p/N \to \gamma > 0$ 且 $H_N \to H$ 下，样本协方差矩阵的限制谱分布 $F$ 几乎必然收敛到一个非随机极限 $F$。
• 斯蒂尔杰斯变换 $m_F(z)$ 满足一个自洽方程，涉及 $m_F(z)$ 和总体谱测度 $H$，表达式为 $m_F(z) = \int \left\{ \tau[1 - \gamma^{-1} - \gamma^{-1} z m_F(z)] - z \right\}^{-1} dH(\tau)$。
• 限制谱分布的导数为 $F'(\lambda) = \pi^{-1} \mathrm{Im}[\breve{m}_F(\lambda)]$（$\lambda > 0$），且当 $\gamma > 1$ 时 $F$ 是连续可微的。