[论文解读] On the largest eigenvalue of Wishart matrices with identity covariance when n, p and p/n tend to infinity

Noureddine El Karoui|ArXiv.org|Sep 22, 2003

Random Matrices and Applications参考文献 18被引用 63

一句话总结

本文将Johnstone（2001）关于Wishart矩阵最大特征值极限分布的结果扩展至更一般情形，证明即使在 $ n, p \to \infty $ 且 $ p/n \to \infty $ 或 $ n/p \to \infty $ 的情况下，经适当中心化和标准化后的最大特征值仍服从Tracy-Widom分布，从而完整建立了高维设置下零假设Wishart模型的渐近理论。该结果对固定的 $ k $ 个最大特征值的联合分布也成立。

ABSTRACT

Let X be a n*p matrix and l_1 the largest eigenvalue of the covariance matrix X^{*}*X. The "null case" where X_{i,j} are independent Normal(0,1) is of particular interest for principal component analysis. For this model, when n, p tend to infinity and n/p tends to gamma in (0,\infty), it was shown in Johnstone (2001) that l_1, properly centered and scaled, converges to the Tracy-Widom law. We show that with the same centering and scaling, the result is true even when p/n or n/p tends to infinity. The derivation uses ideas and techniques quite similar to the ones presented in Johnstone (2001). Following Soshnikov (2002), we also show that the same is true for the joint distribution of the k largest eigenvalues, where k is a fixed integer. Numerical experiments illustrate the fact that the Tracy-Widom approximation is reasonable even when one of the dimension is "small".

研究动机与目标

• 将Wishart矩阵最大特征值的渐近分布结果从经典的 $ n/p \to \gamma \in (0,\infty) $ 范畴扩展至 $ n/p \to \infty $ 和 $ p/n \to \infty $ 的情形。
• 证明在某一维度主导另一维度的极端渐近情形下，Tracy-Widom定律对最大特征值依然成立。
• 将结果推广至固定 $ k $ 个最大特征值的联合分布，确认其具有相同的极限行为。
• 通过数值实验验证，Tracy-Widom近似在 $ n $ 或 $ p $ 较小时仍保持准确性。
• 解决在非标准缩放极限下，随机矩阵理论中扰动展开的误差控制所面临的理论挑战。

提出的方法

• 将Johnstone（2001）提出的中心化与标准化序列 $ \mu_{np} $ 和 $ \sigma_{np} $ 适配至 $ n/p \to \infty $ 的情形，采用 $ \mu_{np} = (\sqrt{n_1} + \sqrt{p_1})^2 $ 与 $ \sigma_{np} = (\sqrt{n_1} + \sqrt{p_1})(1/\sqrt{n_1} + 1/\sqrt{p_1})^{1/3} $，其中 $ n_1 = \max(n,p)-1 $，$ p_1 = \min(n,p) $。
• 应用Soshnikov（2002）关于行列式点过程的技术，将边际收敛性推广至 $ k $ 个最大特征值的联合分布。
• 通过特殊函数（Airy函数、Whittaker函数与抛物柱面函数）的渐近分析，控制相关微分方程扰动展开中的误差项。
• 利用Liouville-Green变换与变量替换，将特征值方程转化为接近Airy或抛物柱面方程的形式，从而实现一致的误差界。
• 通过切换至Olver（1980）关于Whittaker函数的框架，解决原始方法中直接误差控制失败的问题，该框架可提供扰动效应的显式界。
• 通过蒙特卡洛模拟（共 $ 10,000 $ 个独立同分布的 $ n \times p $ 矩阵）验证Tracy-Widom近似的鲁棒性，覆盖多种 $ n, p $ 组合。

实验结果

研究问题

• RQ1 当 $ n/p \to \infty $ 时，Tracy-Widom分布是否仍能描述Wishart矩阵最大特征值的极限分布，超出经典的 $ n/p \to \gamma \in (0,\infty) $ 范畴？
• RQ2 当 $ p/n \to \infty $ 时，即使 $ n $ 较小，$ k $ 个最大特征值的联合分布是否仍收敛至Tracy-Widom分布？
• RQ3 在 $ p \gg n $ 的高维设置下，尽管理论假设要求 $ n $ 和 $ p $ 较大，Tracy-Widom近似是否在数值上仍可靠？
• RQ4 当比值 $ p/n $ 发散时，如何控制特征值分布渐近展开中的误差？
• RQ5 能否通过特殊函数扰动理论，将随机矩阵理论的理论框架扩展至涵盖极端渐近情形？

主要发现

• 对于具有独立同分布 $ \mathcal{N}(0,1) $ 入口的 $ n \times p $ Wishart 矩阵，其最大特征值 $ l_1 $ 经适当中心化与标准化后，即使在 $ n/p \to \infty $ 情形下，其分布仍收敛于Tracy-Widom分布。
• 当 $ p/n \to \infty $ 时，该极限行为同样成立，从而完整刻画了零假设Wishart模型中最大特征值的渐近图像。
• 在相同极端渐近情形下，固定 $ k $ 个最大特征值的联合分布也收敛于联合Tracy-Widom分布。
• 数值实验表明，即使在中等大小的 $ n $ 和 $ p $ 下，包括 $ n \ll p $ 的情形（如 $ n=10, p=1000 $），Tracy-Widom近似仍保持高度准确。
• 采用改进的中心化与标准化 $ \tilde{\mu}_{np} = \sqrt{n-1/2} + \sqrt{p-1/2} $，$ \tilde{\sigma}_{np} = (\sqrt{n-1/2} + \sqrt{p-1/2})(1/\sqrt{n-1/2} + 1/\sqrt{p-1/2})^{1/3} $，可显著提升有限样本下的近似质量。
• 通过适配Olver（1980）关于Whittaker函数的扰动理论，本文建立了实现必要一致误差界的关键条件，从而在 $ p/n \to \infty $ 发散情形下验证了渐近结果的正确性。