[论文解读] Estimation of the Number of Spiked Eigenvalues in a Covariance Matrix by Bulk Eigenvalue Matching Analysis

Zheng Tracy Ke, Yucong Ma+1 more|arXiv (Cornell University)|May 31, 2020

Random Matrices and Applications参考文献 35被引用 9

一句话总结

本文提出了一种新型方法——批量特征值匹配分析（BEMA），通过将剩余特征值建模为伽马分布，并将其经验分布与理论分位函数匹配，以估计高维协方差矩阵中的特征值数量。该方法利用批量特征值信息，显著提升了估计精度，在标准特征值模型下实现了对 $ K $ 的一致估计，并在模拟实验和真实数据应用（包括肺癌和 1000 Genomes 数据集）中优于现有方法。

ABSTRACT

The spiked covariance model has gained increasing popularity in high-dimensional data analysis. A fundamental problem is determination of the number of spiked eigenvalues, $K$. For estimation of $K$, most attention has focused on the use of $top$ eigenvalues of sample covariance matrix, and there is little investigation into proper ways of utilizing $bulk$ eigenvalues to estimate $K$. We propose a principled approach to incorporating bulk eigenvalues in the estimation of $K$. Our method imposes a working model on the residual covariance matrix, which is assumed to be a diagonal matrix whose entries are drawn from a gamma distribution. Under this model, the bulk eigenvalues are asymptotically close to the quantiles of a fixed parametric distribution. This motivates us to propose a two-step method: the first step uses bulk eigenvalues to estimate parameters of this distribution, and the second step leverages these parameters to assist the estimation of $K$. The resulting estimator $\hat{K}$ aggregates information in a large number of bulk eigenvalues. We show the consistency of $\hat{K}$ under a standard spiked covariance model. We also propose a confidence interval estimate for $K$. Our extensive simulation studies show that the proposed method is robust and outperforms the existing methods in a range of scenarios. We apply the proposed method to analysis of a lung cancer microarray data set and the 1000 Genomes data set.

研究动机与目标

• 为解决现有系统性方法中缺乏利用批量特征值来估计高维协方差矩阵中特征值数量 $ K $ 的问题。
• 开发一种基于整个批量特征值信息的合理方法，而非仅依赖于最大特征值或特征值间隙。
• 在标准特征值协方差模型下，确保估计量 $ \hat{K} $ 的一致性，其中 $ p/n \to \gamma > 0 $。
• 为 $ K $ 提供置信区间，以增强实际应用中估计结果的可解释性和可靠性。
• 在真实世界数据中展示该方法的稳健性与优越性能，包括微阵列数据和群体基因组数据集。

提出的方法

• 将残差协方差矩阵建模为对角矩阵，其元素独立同分布地来自伽马分布，假设批量特征值在渐近意义上服从参数化分布。
• 采用两步法：首先通过分位数匹配，从经验批量特征值中估计伽马分布参数 $ (\hat{\sigma}^2, \hat{\theta}) $。
• 基于估计的伽马分布构建理论分位函数 $ G(x) $，以建模批量特征值的期望分位数。
• 将检验统计量 $ \hat{T}_\beta $ 定义为理论特征值分布的 $ (1-\beta) $-分位数，用于检测特征值开始出现异常的阈值点。
• 将 $ \hat{K} $ 估计为超过 $ \hat{T}_\beta $ 的样本特征值数量，使用基于批量分布推导出的数据驱动阈值。
• 通过证明在正则条件下估计阈值收敛于真实分位数，并且参数估计具有渐近正态性，从而建立 $ \hat{K} $ 的一致性。

实验结果

研究问题

• RQ1 能否系统性地利用批量特征值来提升高维协方差矩阵中特征值数量 $ K $ 的估计精度？
• RQ2 将剩余特征值建模为伽马分布是否能带来比仅依赖最大特征值的方法更稳健、更一致的 $ K $ 估计？
• RQ3 在有限样本设置下，该方法与平行分析、凯撒准则和基于特征值间隙的估计方法相比表现如何？
• RQ4 能否基于批量特征值匹配框架可靠地构建 $ K $ 的置信区间？
• RQ5 在真实世界数据应用中，该方法对调优参数（如分位数水平 $ \beta $）的变化是否具有稳健性？

主要发现

• 在标准特征值协方差模型下，随着 $ p/n \to \gamma > 0 $，所提出的 BEMA 估计量 $ \hat{K} $ 具有一致性，且满足 $ |\hat{K} - K| \prec n^{-1} $。
• 模拟研究显示，BEMA 在各种场景下均优于现有方法（包括平行分析、凯撒准则和基于特征值间隙的估计器），尤其在特征值较小时表现更优。
• 在肺癌微阵列数据中，BEMA 估计 $ \hat{K} = 1 $，90% 置信区间为 [1,4]，且在 $ \alpha $ 值范围 0.1–0.4 内估计结果稳定。
• 在 1000 Genomes 数据集中，BEMA 估计 $ \hat{K} = 28 $，90% 置信区间为 [28,30]，且在 $ \alpha \in \{0.1, 0.2, 0.3, 0.4\} $ 范围内估计结果保持稳定，表明其稳健性。
• 该方法在参数估计中表现出高度稳定性：$ \hat{\theta} $ 和 $ \hat{\sigma}^2 $ 在不同 $ \alpha $ 值下仅发生微小变化，导致 $ \hat{K} $ 在测试范围内保持不变。
• 通过伽马分位数构建的置信区间提供了可靠的不确定性度量，80% 置信区间在两个真实数据应用中均覆盖了真实的 $ K $ 值。