[论文解读] Detecting Rare and Weak Spikes in Large Covariance Matrices

Zheng Tracy Ke|arXiv (Cornell University)|Sep 4, 2016

Random Matrices and Applications参考文献 42被引用 7

一句话总结

本文研究在高维设定（p ≥ n）下，大协方差矩阵中罕见且微弱的特征值尖峰的检测问题，提出了一套相变框架，将参数空间划分为‘不可能区域’（所有检验渐近无力）和‘可能区域’（检验可达到完全功效）。研究证明，在可能区域内，CuSum 检验与迹统计量检验均能达到渐近完全功效，利用随机矩阵理论和高斯代理模型工具，推导出特征值行为及备择假设下 L¹ 距离的精确边界。

ABSTRACT

Given $p$-dimensional Gaussian vectors $X_i \stackrel{iid}{\sim} N(0, Σ)$, $1 \leq i \leq n$, where $p \geq n$, we are interested in testing a null hypothesis where $Σ= I_p$ against an alternative hypothesis where all eigenvalues of $Σ$ are $1$, except for $r$ of them are larger than $1$ (i.e., spiked eigenvalues). We consider a Rare/Weak setting where the spikes are sparse (i.e., $1 \ll r \ll p$) and individually weak (i.e., each spiked eigenvalue is only slightly larger than $1$), and discover a phase transition: the two-dimensional phase space that calibrates the spike sparsity and strengths partitions into the Region of Impossibility and the Region of Possibility. In Region of Impossibility, all tests are (asymptotically) powerless in separating the alternative from the null. In Region of Possibility, there are tests that have (asymptotically) full power. We consider a CuSum test, a trace-based test, an eigenvalue-based Higher Criticism test, and a Tracy-Widom test (Johnstone 2001), and show that the first two tests have asymptotically full power in Region of Possibility. To use our results from a different angle, we derive new bounds for (a) empirical eigenvalues, and (b) cumulative sums of the empirical eigenvalues, both under the alternative hypothesis. Part (a) is related to those in Baik, Ben-Arous and Peche (2005), but both the settings and results are different. The study requires careful analysis of the $L^1$-distance of our testing problem and delicate Radom Matrix Theory. Our technical devises include (a) a Gaussian proxy model, (b) Le Cam's comparison of experiments, and (c) large deviation bounds on empirical eigenvalues.

研究动机与目标

• 解决在 p ≥ n 条件下，高维协方差矩阵中稀疏且微弱的特征值尖峰检测的挑战。
• 刻画在罕见/微弱尖峰情形下检测的根本极限，即尖峰数量稀少且单个强度微弱。
• 识别检测问题中的相变现象，将检测渐近不可能的区域与检测可能的区域区分开来。
• 在该相变框架下，评估关键检验统计量（CuSum、迹统计量、高阶批评法与 Tracy-Widom 检验）的性能。
• 利用先进的随机矩阵理论工具，推导出在备择假设下经验特征值与特征值累积和的新型非渐近边界。

提出的方法

• 提出高斯代理模型以简化原始检验问题的分析，从而可应用 Le Cam 理论中的经典工具。
• 应用 Le Cam 的实验比较方法，将原始问题转化为更易处理的高斯设定，同时保持渐近等价性。
• 利用经验特征值的大偏差界，控制备择假设下样本协方差矩阵的行为。
• 将原假设与备择假设模型之间的 L¹ 距离作为关键度量，用于量化可检测性阈值。
• 推导出在尖峰模型下特征值累积和及其与 Marchenko-Pastur 法律偏差的精确边界。
• 应用 Tracy-Widom 分布与特征值普遍性，证明结果在非高斯模型中的稳健性。

实验结果

研究问题

• RQ1 当 p ≥ n 时，大协方差矩阵中罕见微弱尖峰的根本可检测极限是什么？
• RQ2 尖峰的稀疏性与强度如何共同影响高维设定下统计检验的功效？
• RQ3 在可能区域内，哪些检验统计量——CuSum、迹统计量、高阶批评法或 Tracy-Widom 检验——能达到渐近完全功效？
• RQ4 是否能以尖峰稀疏性与信号强度为参数，精确刻画可检测与不可检测区域之间的相变？
• RQ5 在备择假设下，经验特征值及其累积和的精确边界是什么？

主要发现

• 在尖峰稀疏性（r）与尖峰强度（λ）的二维参数空间中存在相变，将其划分为‘不可能区域’与‘可能区域’。
• 在可能区域内，CuSum 与迹统计量检验达到渐近完全功效；在不可能区域内，所有检验均渐近无力。
• 本文推导出在备择假设下经验特征值及其累积和的新型非渐近边界，相较于 [4, 40] 中的结果，在不同设定下实现了更强的有限样本控制。
• 高斯代理模型被证明与原始模型渐近等价，从而允许在推断中使用 Le Cam 理论中的经典工具。
• 通过大偏差技术界定了原假设与备择假设模型之间的 L¹ 距离，该结果构成了相变分析的基础。
• 由于特征值普遍性，结果对模型误设具有鲁棒性，表明其在遗传学与网络检测等应用中适用于次高斯与 Wigner 型模型。