[论文解读] Spiked separable covariance matrices and principal components

Xiucai Ding, Fan Yang|arXiv (Cornell University)|May 29, 2019

Random Matrices and Applications参考文献 59被引用 13

一句话总结

本文提出了一种带有尖刺的可分协方差矩阵模型，其中空间和时间相关矩阵（$ olimits\widetilde{A}$ 和 $ olimits\widetilde{B}$）均包含若干个与主干分离的大型特征值（尖刺）。该文建立了异常特征值及异常特征向量广义分量的几乎必然收敛性，并给出了最优收敛速率，同时证明了非异常特征向量的去局域化特性，强调了 $ olimits\widetilde{A}$ 和 $ olimits\widetilde{B}$ 中尖刺在生成谱异常中的作用。

ABSTRACT

We introduce a class of separable sample covariance matrices of the form $\widetilde{\mathcal{Q}}_1:=\widetilde A^{1/2} X \widetilde B X^* \widetilde A^{1/2}.$ Here $\widetilde{A}$ and $\widetilde{B}$ are positive definite matrices whose spectrums consist of bulk spectrums plus several spikes, i.e. larger eigenvalues that are separated from the bulks. Conceptually, we call $\widetilde{\mathcal{Q}}_1$ a \emph{spiked separable covariance matrix model}. On the one hand, this model includes the spiked covariance matrix as a special case with $\widetilde{B}=I$. On the other hand, it allows for more general correlations of datasets. In particular, for spatio-temporal dataset, $\widetilde{A}$ and $\widetilde{B}$ represent the spatial and temporal correlations, respectively. In this paper, we study the outlier eigenvalues and eigenvectors, i.e. the principal components, of the spiked separable covariance model $\widetilde{\mathcal{Q}}_1$. We prove the convergence of the outlier eigenvalues $\widetilde λ_i$ and the generalized components (i.e. $\langle \mathbf v, \widetilde{\mathbfξ}_i angle$ for any deterministic vector $\mathbf v$) of the outlier eigenvectors $\widetilde{\mathbfξ}_i$ with optimal convergence rates. Moreover, we also prove the delocalization of the non-outlier eigenvectors. We state our results in full generality, in the sense that they also hold near the so-called BBP transition and for degenerate outliers. Our results highlight both the similarity and difference between the spiked separable covariance matrix model and the spiked covariance model. In particular, we show that the spikes of both $\widetilde{A}$ and $\widetilde{B}$ will cause outliers of the eigenvalue spectrum, and the eigenvectors can help us to select the outliers that correspond to the spikes of $\widetilde{A}$ (or $\widetilde{B}$).

研究动机与目标

• 分析当空间与时间相关矩阵均含有尖刺时，可分样本协方差矩阵的谱行为。
• 将 BBP 相变理论扩展至包含两个尖刺源的可分协方差模型。
• 建立异常特征值及异常特征向量广义分量的最优收敛速率。
• 证明在尖刺可分模型中非异常特征向量的去局域化特性。
• 阐明 $ olimits\widetilde{A}$ 和 $ olimits\widetilde{B}$ 中尖刺在确定可检测主成分中的作用。

提出的方法

• 形式化定义尖刺可分协方差矩阵模型 $ olimits\widetilde{\mathcal{Q}}_1 = \nolimits\widetilde{A}^{1/2}X\nolimits\widetilde{B}X^*\nolimits\widetilde{A}^{1/2}$，其中 $X$ 的元素为独立同分布，$ olimits\widetilde{A}, \nolimits\widetilde{B}$ 为确定性的正定矩阵。
• 应用局部极限定理与谱分析技术，研究 $ olimits\widetilde{\mathcal{Q}}_1$ 的特征值与特征向量。
• 利用预解式方法与摄动理论，推导异常特征值与特征向量分量的收敛速率。
• 引入广义分量 $\langle \mathbf{v}, \nolimits\widetilde{\bm{\xi}}_i \rangle$ 以分析任意确定性向量 $\mathbf{v}$ 下的特征向量收敛性。
• 考虑完整参数范围，包括 BBP 相变附近及退化尖刺情形，采用带有 $n^{\varepsilon}$ 类型因子的精细误差界。
• 通过分情况分析不同尖刺位置相对于主干谱的配置，以控制特征向量相关性。

实验结果

研究问题

• RQ1 空间（$ olimits\widetilde{A}$）与时间（$ olimits\widetilde{B}$）相关矩阵中的尖刺如何影响可分样本协方差矩阵的异常特征值？
• RQ2 在尖刺可分模型中，异常特征值与异常特征向量广义分量的最优收敛速率是什么？
• RQ3 样本协方差矩阵的特征向量如何响应 $ olimits\widetilde{A}$ 和 $ olimits\widetilde{B}$ 中的尖刺？能否用于区分异常来源？
• RQ4 在可分模型中接近 BBP 相变时，谱行为如何变化？与经典尖刺协方差模型有何不同？
• RQ5 在尖刺可分协方差模型中，非异常特征向量是否完全去局域化？是否可在整个谱范围内统一证明？

主要发现

• 异常特征值 $ olimits\widetilde{\lambda}_i$ 几乎必然收敛至由 $ olimits\widetilde{A}$ 与 $ olimits\widetilde{B}$ 中尖刺共同决定的极限值，且收敛速率达到最优。
• 异常特征向量的广义分量 $\langle \mathbf{v}, \nolimits\widetilde{\bm{\xi}}_i \rangle$ 以最优速率收敛，误差界按 $n^{6\varepsilon}$ 因子缩放，乘以主导项。
• 样本协方差矩阵的特征向量可用于识别是 $ olimits\widetilde{A}$ 还是 $ olimits\widetilde{B}$ 贡献了尖刺，从而实现主成分来源的归因。
• 非异常特征向量完全去局域化，即其 $\ell^2$-质量在各坐标上均匀分布。
• 结果在 BBP 相变附近及退化尖刺情形下依然成立，扩展了经典尖刺模型中的先前结论。
• 分析表明，$ olimits\widetilde{A}$ 与 $ olimits\wild{B}$ 中的尖刺共同影响谱异常，与经典模型中仅 $ olimits\widetilde{A}$ 的尖刺起作用的情况不同。