[论文解读] De-biased sparse PCA: Inference and testing for eigenstructure of large covariance matrices

Jana Janková, Sara van de Geer|arXiv (Cornell University)|Jan 31, 2018

Random Matrices and Applications参考文献 28被引用 15

一句话总结

该论文提出了一种去偏稀疏主成分分析（PCA）方法，用于在高维设置下（p ≫ n）对大协方差矩阵的特征结构进行推断。通过使用去偏程序校正Lasso惩罚M-估计器中的偏差，作者建立了单个载荷和最大特征值的渐近正态性，从而在√n/log p阶稀疏性假设下实现有效的置信区间和假设检验。

ABSTRACT

Sparse principal component analysis (sPCA) has become one of the most widely used techniques for dimensionality reduction in high-dimensional datasets. The main challenge underlying sPCA is to estimate the first vector of loadings of the population covariance matrix, provided that only a certain number of loadings are non-zero. In this paper, we propose confidence intervals for individual loadings and for the largest eigenvalue of the population covariance matrix. Given an independent sample $X^i \in\mathbb R^p, i = 1,...,n,$ generated from an unknown distribution with an unknown covariance matrix $Σ_0$, our aim is to estimate the first vector of loadings and the largest eigenvalue of $Σ_0$ in a setting where $p\gg n$. Next to the high-dimensionality, another challenge lies in the inherent non-convexity of the problem. We base our methodology on a Lasso-penalized M-estimator which, despite non-convexity, may be solved by a polynomial-time algorithm such as coordinate or gradient descent. We show that our estimator achieves the minimax optimal rates in $\ell_1$ and $\ell_2$-norm. We identify the bias in the Lasso-based estimator and propose a de-biased sparse PCA estimator for the vector of loadings and for the largest eigenvalue of the covariance matrix $Σ_0$. Our main results provide theoretical guarantees for asymptotic normality of the de-biased estimator. The major conditions we impose are sparsity in the first eigenvector of small order $\sqrt{n}/\log p$ and sparsity of the same order in the columns of the inverse Hessian matrix of the population risk.

研究动机与目标

• 解决在p ≫ n时对高维协方差矩阵的第一特征向量和最大特征值进行推断的挑战。
• 克服由于Lasso惩罚导致的稀疏PCA估计中固有的非凸性和偏差。
• 开发一种去偏估计器，使载荷和特征值实现渐近正态性，从而支持置信区间和假设检验。
• 在稀疏性约束下，建立稀疏载荷向量在ℓ₁和ℓ₂范数下的极小最大最优估计速率。
• 为第一特征向量和逆Hessian矩阵列在√n/log p阶稀疏性条件下的推断提供理论保证。

提出的方法

• 该方法基于对总体协方差矩阵第一特征向量的Lasso惩罚M-估计器，尽管存在非凸性，但可通过坐标下降或梯度下降实现计算可处理性。
• 应用去偏程序以校正基于Lasso的估计器的估计偏差，从而得到载荷向量和最大特征值的去偏估计器。
• 证明在第一特征向量和总体风险函数的逆Hessian矩阵列的稀疏性条件为√n/log p时，去偏估计器具有渐近正态性。
• 理论分析依赖于剥除法（peeling arguments）和浓度不等式来控制经验过程，使用样本协方差偏差矩阵的ℓ∞-范数界。
• 该方法在假设的稀疏性范围内证明了Lasso估计器在ℓ₁和ℓ₂范数下的极小最大最优性。
• 理论保证通过经验过程理论、凸松弛技术以及使用稀疏向量的凸包来控制去偏误差的结合方法推导得出。

实验结果

研究问题

• RQ1 当p ≫ n时，能否为高维稀疏PCA中的单个载荷构建有效的置信区间？
• RQ2 在稀疏性约束下，协方差矩阵的第一特征向量和最大特征值的去偏估计器是否实现渐近正态性？
• RQ3 高维稀疏PCA中一致估计和有效推断所需的最小稀疏性条件是什么？
• RQ4 基于Lasso的稀疏PCA估计器中的偏差如何影响推断？能否被有效校正？
• RQ5 在何种条件下，去偏稀疏PCA估计器在ℓ₁和ℓ₂范数下达到极小最大最优速率？

主要发现

• 在非零载荷数量为√n/log p阶的稀疏性条件下，第一特征向量的去偏稀疏PCA估计器实现了渐近正态性。
• 最大特征值估计器同样具有渐近正态性，从而支持对主导特征值的有效置信区间和假设检验。
• 在相同稀疏性范围内，Lasso惩罚M-估计器在ℓ₁和ℓ₂范数下均达到极小最大最优速率。
• Lasso估计器的偏差被正式识别并通过对去偏程序进行校正，从而恢复了渐近正态性。
• 该方法为单个载荷和最大特征值提供了有效的置信区间，其覆盖概率渐近趋近于名义水平。
• 通过剥除法和浓度技术，建立了样本协方差矩阵与总体矩阵偏差的理论界，确保在高维稀疏性下的鲁棒性。