[论文解读] Hypothesis testing for eigenspaces of covariance matrix

I.N. Silin, Jianqing Fan|arXiv (Cornell University)|Feb 23, 2020

Matrix Theory and Algorithms参考文献 35被引用 8

一句话总结

本文提出了一种新颖的假设检验框架，用于协方差矩阵的特征子空间，利用谱投影算子，结合一种专门设计的矩阵范数和一种计算高效的重抽样技术。该方法在一类和两样本设置下均显著优于先前方法，实现了更优的 I 类错误控制和强大的理论保证。

ABSTRACT

Eigenspaces of covariance matrices play an important role in statistical machine learning, arising in variety of modern algorithms. Quantitatively, it is convenient to describe the eigenspaces in terms of spectral projectors. This work focuses on hypothesis testing for the spectral projectors, both in one- and two-sample scenario. We present new tests, based on a specific matrix norm developed in order to utilize the structure of the spectral projectors. A new resampling technique of independent interest is introduced and analyzed: it serves as an alternative to the well-known multiplier bootstrap, significantly reducing computational complexity of bootstrap-based methods. We provide theoretical guarantees for the type-I error of our procedures, which remarkably improve the previously obtained results in the field. Moreover, we analyze power of our tests. Numerical experiments illustrate good performance of the proposed methods compared to previously developed ones.

研究动机与目标

• 解决现代机器学习应用中特征子空间统计推断缺乏严格性的问题。
• 为单样本和双样本情形下的谱投影算子开发假设检验方法。
• 通过一种新型重抽样技术，克服现有自助法的计算瓶颈。
• 提供显著优于先前结果的 I 类错误控制理论保证。
• 在高维数据中实现主成分和低维子空间的不确定性量化。

提出的方法

• 基于专为谱投影算子结构设计的特殊矩阵范数构建假设检验。
• 提出一种新型重抽样程序，相比标准乘子自助法显著降低计算复杂度。
• 利用 Davis-Kahan 不等式控制经验投影算子与真实投影算子之间的偏差。
• 在高维渐近条件下，建立谱投影算子估计误差的理论界。
• 将新型重抽样方法应用于近似检验统计量的零分布，计算成本显著降低。
• 在弱矩条件下的非渐近集中不等式，推导谱投影算子估计量的性质。

实验结果

研究问题

• RQ1 在高维设置下，如何为协方差矩阵的谱投影算子构建有效的假设检验？
• RQ2 在假设检验中，捕捉特征子空间几何结构的最优矩阵范数是什么？
• RQ3 我们能否开发一种重抽样方法，在显著降低计算成本的同时保持与乘子自助法相当的精度？
• RQ4 在维度和样本量同时增长的高维渐近条件下，所提出的检验如何控制 I 类错误？
• RQ5 在局部备择假设下，所提检验的统计功效表现如何？与现有方法相比有何差异？

主要发现

• 所提出的检验在 I 类错误控制方面优于现有方法，且具有显著优于先前结果的理论保证。
• 新型重抽样技术在保持精度的同时，显著降低了基于自助法推断的计算复杂度，为乘子自助法提供了实用的替代方案。
• 理论分析表明，零假设下检验统计量收敛于卡方分布，且给出了收敛速度的显式界。
• 数值实验表明，与现有方法相比，所提方法在经验功效和大小准确性方面表现更优。
• 该方法在非渐近条件下实现了谱投影算子估计量的集中性，其收敛速率依赖于谱间隙和有效维度。
• 该框架适用于多种问题，包括主成分分析、因子模型和谱聚类，其中特征子空间推断至关重要。