[论文解读] Asymptotic Theory of Eigenvectors for Random Matrices With Diverging Spikes

Jianqing Fan, Yingying Fan+2 more|arXiv (Cornell University)|Feb 19, 2019

Random Matrices and Applications参考文献 60被引用 7

一句话总结

本文为具有发散特征值和异质方差的大随机矩阵的特征向量建立了渐近理论，证明了在广义Wigner噪声下，特征值和特征向量的渐近正态性。关键贡献在于对特征向量线性形式进行了严格的二阶展开，从而在高维网络和文本分析应用中实现了有效的统计推断。

ABSTRACT

Characterizing the asymptotic distributions of eigenvectors for large random matrices poses important challenges yet can provide useful insights into a range of statistical applications. To this end, in this article we introduce a general framework of asymptotic theory of eigenvectors for large spiked random matrices with diverging spikes and heterogeneous variances, and establish the asymptotic properties of the spiked eigenvectors and eigenvalues for the scenario of the generalized Wigner matrix noise. Under some mild regularity conditions, we provide the asymptotic expansions for the spiked eigenvalues and show that they are asymptotically normal after some normalization. For the spiked eigenvectors, we establish asymptotic expansions for the general linear combination and further show that it is asymptotically normal after some normalization, where the weight vector can be arbitrary. We also provide a more general asymptotic theory for the spiked eigenvectors using the bilinear form. Simulation studies verify the validity of our new theoretical results. Our family of models encompasses many popularly used ones such as the stochastic block models with or without overlapping communities for network analysis and the topic models for text analysis, and our general theory can be exploited for statistical inference in these large-scale applications. Supplementary materials for this article are available online.

研究动机与目标

• 为具有发散特征值和异质方差的大特征值随机矩阵发展一个通用的特征向量渐近理论（ATE）。
• 刻画在广义Wigner矩阵噪声下，特征值和特征向量的渐近分布。
• 在适当归一化后，建立特征向量线性组合的渐近正态性。
• 为高维应用（如随机块模型和主题模型）中的统计推断提供理论基础。
• 通过处理大维极限下的非i.i.d.噪声和发散的特征值强度，扩展了现有的随机矩阵理论。

提出的方法

• 在温和正则性条件下，利用谱摄动理论推导特征值的渐近展开。
• 通过基于再生核的分析和矩阵求逆技术，发展一般特征向量线性组合的二阶展开。
• 引入双线性形式框架，将特征向量渐近理论推广至线性形式之外。
• 利用再生核恒等式和矩阵求逆引理，将高维特征向量摄动分解为可处理的组成部分。
• 使用浓度不等式和鞅方法控制渐近展开中余项的大小。
• 通过识别二阶展开中占主导地位的随机项，推导出特征向量线性形式的主导阶渐近分布。

实验结果

研究问题

• RQ1 当特征值强度随矩阵维数发散时，特征值的渐近行为如何？
• RQ2 在一般噪声结构下，特征向量线性组合的极限分布是什么？
• RQ3 当噪声为异方差且非i.i.d.时，特征向量投影的渐近正态性是否可以建立？
• RQ4 与一阶项相比，特征向量展开中的二阶项如何影响渐近分布？
• RQ5 所提出的理论在真实世界高维模型（如随机块模型和主题模型）中的适用程度如何？

主要发现

• 即使特征值强度随矩阵规模发散，经过适当归一化后，特征值仍渐近服从正态分布。
• 经过归一化后，特征向量线性组合的一般形式也渐近服从正态分布，其极限方差取决于权重向量和噪声结构。
• 当噪声方差相对于特征值强度足够小时，特征向量展开中的二阶项会主导一阶项。
• 特征向量投影的渐近分布由来自再生核和摄动项的三个关键随机变量的联合分布决定。
• 通过模拟研究验证了理论框架，证实了在有限样本中渐近近似具有高精度。
• 该模型族包括流行的高维模型，如具有重叠社区的随机块模型和主题模型，使得在这些设定中能够实现统计推断。