[论文解读] Bootstrap confidence sets for spectral projectors of sample covariance

Alexey Naumov, Vladimir Spokoiny+1 more|arXiv (Cornell University)|Mar 2, 2017

Statistical Methods and Inference参考文献 9被引用 7

一句话总结

本文提出了一种非渐近的自助法程序，用于在高维设置下构造样本协方差矩阵谱投影算子的精确置信集。通过利用高斯比较不等式和反浓度不等式，该方法建立了对真实投影算子与经验投影算子之间Frobenius范数距离的自助法近似在有限样本下的误差界，从而在小样本和高维情况下也能实现可靠的推断。

ABSTRACT

Let $X_{1},\ldots,X_{n}$ be i.i.d. sample in $\mathbb{R}^{p}$ with zero mean and the covariance matrix $\mathbfΣ$. The problem of recovering the projector onto an eigenspace of $\mathbfΣ$ from these observations naturally arises in many applications. Recent technique from [Koltchinskii, Lounici, 2015] helps to study the asymptotic distribution of the distance in the Frobenius norm $\| \mathbf{P}_r - \widehat{\mathbf{P}}_r \|_{2}$ between the true projector $\mathbf{P}_r$ on the subspace of the $r$-th eigenvalue and its empirical counterpart $\widehat{\mathbf{P}}_r$ in terms of the effective rank of $\mathbfΣ$. This paper offers a bootstrap procedure for building sharp confidence sets for the true projector $\mathbf{P}_r$ from the given data. This procedure does not rely on the asymptotic distribution of $\| \mathbf{P}_r - \widehat{\mathbf{P}}_r \|_{2}$ and its moments. It could be applied for small or moderate sample size $n$ and large dimension $p$. The main result states the validity of the proposed procedure for finite samples with an explicit error bound for the error of bootstrap approximation. This bound involves some new sharp results on Gaussian comparison and Gaussian anti-concentration in high-dimensional spaces. Numeric results confirm a good performance of the method in realistic examples.

研究动机与目标

• 为在样本量较小或中等且维度较大的情况下，构造样本协方差矩阵谱投影算子的置信集，提出一种有效的自助法程序。
• 避免依赖于在高维设置下通常不可靠的渐近分布及其矩。
• 建立具有显式误差界的有限样本自助法有效性，特别是在高维高斯空间中。
• 通过在现实采样条件下提供精确的置信集，改进对协方差矩阵特征子空间的推断。
• 推导高维空间中高斯比较与反浓度不等式的全新精确结果，以支持理论保证。

提出的方法

• 基于从数据经验分布中重采样的非渐近自助法框架，近似谱投影算子的抽样分布。
• 将投影算子差分解为涉及经验协方差算子与真实协方差算子的线性和非线性项。
• 在自助世界中应用浓度不等式，以控制自助投影算子与其期望之间的偏离。
• 利用高斯比较不等式，界定自助法与高斯近似之间投影距离差异的上界。
• 提出一种与维度无关的反浓度不等式，适用于高维高斯向量的平方范数，仅依赖于前两个最大特征值。
• 利用真实协方差矩阵的有效秩和特征值结构，推导出自助法近似的显式误差界。

实验结果

研究问题

• RQ1 能否构造一种自助法程序，在不依赖渐近近似的情况下，为谱投影算子提供有效的置信集？
• RQ2 自助法对投影算子差的Frobenius范数近似的有限样本误差界是什么？
• RQ3 如何利用高斯比较与反浓度不等式，在高维设置下推导出精确的界？
• RQ4 当样本量较小时，维度较大时，该方法在多大程度上仍保持有效性？
• RQ5 在一般协方差结构下，能否通过显式误差控制，从理论上证明该自助法程序的合理性？

主要发现

• 所提出的自助法程序实现了有限样本有效性，其误差界为 $ \diamondsuit_3 \asymp m_r \frac{\operatorname{Tr}^3 \mathbf{\Sigma}}{\overline{g}_r^3} \sqrt{\frac{\log^3 n}{n} + \frac{\log^3 p}{n}} $，该界控制了自助法近似的偏离程度。
• 该方法为谱投影算子 $ \mathbf{P}_r $ 提供了精确的置信集，其 $ \mathbb{P} $-概率至少为 $ 1 - \frac{1}{n} $，确保了高度可靠性。
• 误差界涉及一种新的高维高斯向量平方范数的反浓度不等式，仅依赖于前两个特征值。
• 自助法近似误差通过双向不等式界定：$ \mathbb{P}^\circ(n\|\mathbf{P}_r^\circ - \widehat{\mathbf{P}}_r\|_2^2 > x) \leq \mathbb{P}^\circ(\|\xi^\circ\|_2^2 \geq x_-) + \frac{1}{n} $ 且 $ \geq \mathbb{P}^\circ(\|\xi^\circ\|_2^2 \geq x_+) - \frac{1}{n} $，其中 $ x_\pm = x \pm \diamondsuit_3 $。
• 理论结果得到了数值实验的支持，表明在现实的高维设置下性能良好。
• 该方法对高维性和小样本量具有鲁棒性，适用于现代统计应用，如主成分分析（PCA）和高维推断。