[论文解读] The universality principle for spectral distributions of sample covariance matrices

Pavel Yaskov|arXiv (Cornell University)|Oct 20, 2014

Random Matrices and Applications参考文献 17被引用 7

一句话总结

本文在一般条件下建立了样本协方差矩阵的经验谱分布（ESD）的普遍性原理，表明当样本大小与维度成比例增长时，其极限ESD与条件高斯向量的ESD相同。关键贡献在于基于二次型的弱大数定律，证明了普遍性，将先前结果扩展至m-依赖的鞅差序列和线性过程，并推导出显式的矩不等式，使该理论具有广泛适用性。

ABSTRACT

We derive the universality principle for empirical spectral distributions of sample covariance matrices and their Stieltjes transforms. This principle states the following. Suppose quadratic forms of random vectors $y_p$ in $R^p$ satisfy a weak law of large numbers and the sample size grows at the same rate as $p$. Then the limiting spectral distribution of corresponding sample covariance matrices is the same as in the case with conditionally Gaussian $y_p$. This result is generalized for $m$-dependent martingale difference sequences and $m$-dependent linear processes.

研究动机与目标

• 建立样本协方差矩阵极限经验谱分布（ESD）的普遍性原理，超越高斯假设的限制。
• 识别在何种最小矩和概率条件下，ESD会收敛到与高斯情况下相同的极限。
• 将普遍性原理扩展至依赖结构，如m-依赖鞅差序列和m-依赖线性过程。
• 推导用于二次型的新型矩不等式，以确保弱大数定律成立，从而验证普遍性条件。
• 通过放宽矩和依赖假设，统一并推广随机矩阵理论中的先前结果。

提出的方法

• 提出关于随机向量二次型的假设（A1）和（A2）：（A1）迹归一化二次型的弱大数定律；（A2）平方协方差矩阵的迹归一化趋于零。
• 利用斯蒂尔杰斯变换刻画ESD，并通过比较一般模型与高斯模型下样本协方差矩阵的斯蒂尔杰斯变换来证明普遍性。
• 应用二次型的矩不等式，在弱矩条件下验证（A1）和（A2），尤其适用于m-依赖序列。
• 采用矩阵扰动技术和预解恒等式，通过算子范数控制差异，比较一般模型与高斯模型的斯蒂尔杰斯变换。
• 通过矩界控制和谱范数控制，将结果推广至m-依赖鞅差序列和m-依赖线性过程。
• 利用预解比较和矩阵求逆引理，推导出涉及样本协方差矩阵预解的迹差的界。

实验结果

研究问题

• RQ1 在何种一般条件下，样本协方差矩阵的经验谱分布会收敛到与高斯情况相同的极限？
• RQ2 普遍性原理如何从i.i.d.或次高斯条目推广到m-依赖序列等依赖结构？
• RQ3 何种矩条件可确保二次型的弱大数定律成立，而该定律是普遍性原理的基础？
• RQ4 是否可以在不假设四阶矩有限的条件下建立极限谱分布的普遍性？
• RQ5 一般模型与条件高斯样本协方差矩阵的斯蒂尔杰斯变换在渐近下如何比较？

主要发现

• 在假设（A1）下，$ n^{-1} \boldsymbol{Y}_{pn} \boldsymbol{Y}_{pn}^\top $ 的极限经验谱分布具有普遍性，无论 $ \boldsymbol{y}_p $ 的底层分布如何，只要样本大小 $ n $ 与维度 $ p $ 成比例增长。
• 当 $ \boldsymbol{y}_p $ 是条件高斯分布且协方差矩阵为随机 $ \boldsymbol{\Sigma}_p $ 时，（A1）成立当且仅当（A2）成立，建立了矩条件与高斯近似的联系。
• 本文推导出一个矩不等式：对任意满足 $ \norm{\boldsymbol{A}_p} \normleq M $ 的 $ \boldsymbol{A}_p $，有 $ \bb{P}(|\boldsymbol{y}_p^\top \boldsymbol{A}_p \boldsymbol{y}_p - \tr(\boldsymbol{\Sigma}_p \boldsymbol{A}_p)| > \nu p) \normleq \bb{E} \big[ \frac{16M^2 \tr(\boldsymbol{\Sigma}_p^2)}{(\nu p)^2} \bigwedge 1 \big] $，该不等式在弱矩控制下可确保（A1）成立。
• 普遍性被扩展至 $ m $-依赖鞅差序列和 $ m $-依赖线性过程，显著拓宽了其在i.i.d.或独立情况之外的适用范围。
• 样本协方差矩阵的斯蒂尔杰斯变换收敛到与高斯情况相同的极限，收敛速率由谱参数虚部 $ v $ 的 $ \frac{1}{v^2} $ 控制。
• 一般模型与高斯模型之间斯蒂尔杰斯变换的差异被控制在 $ \frac{2q(|z|+1)^{3/2}}{v^2}(\norm{\boldsymbol{\triangle}_1}\norm{\boldsymbol{\triangle}}^{1/2} + \norm{\boldsymbol{\triangle}_1} + \norm{\boldsymbol{\triangle}_2}) $ 以内，其中 $ \boldsymbol{\triangle}_j $ 衡量矩阵结构的偏离程度。