[论文解读] Approximation Algorithms for Sparse Principal Component Analysis

Agniva Chowdhury, Petros Drineas+2 more|arXiv (Cornell University)|Jun 23, 2020

Sparse and Compressive Sensing Techniques参考文献 36被引用 4

一句话总结

本文提出了两种基于阈值的稀疏主成分分析（SPCA）近似算法，可在不施加对输入协方差矩阵的限制性假设下，实现可证明准确的多项式时间解。第一种方法结合SVD与阈值处理，实现快速且实用的性能；第二种方法将半定规划（SDP）与一种新颖的两步确定性阈值方案相结合，提供了最强的理论保证，且与实际结果高度吻合，有效弥合了理论与实践之间的鸿沟。

ABSTRACT

Principal component analysis (PCA) is a widely used dimension reduction technique in machine learning and multivariate statistics. To improve the interpretability of PCA, various approaches to obtain sparse principal direction loadings have been proposed, which are termed Sparse Principal Component Analysis (SPCA). In this paper, we present thresholding as a provably accurate, polynomial time, approximation algorithm for the SPCA problem, without imposing any restrictive assumptions on the input covariance matrix. Our first thresholding algorithm using the Singular Value Decomposition is conceptually simple; is faster than current state-of-the-art; and performs well in practice. On the negative side, our (novel) theoretical bounds do not accurately predict the strong practical performance of this approach. The second algorithm solves a well-known semidefinite programming relaxation and then uses a novel, two step, deterministic thresholding scheme to compute a sparse principal vector. It works very well in practice and, remarkably, this solid practical performance is accurately predicted by our theoretical bounds, which bridge the theory-practice gap better than current state-of-the-art.

研究动机与目标

• 开发高效、可证明准确的SPCA近似算法，且不依赖对输入协方差矩阵的限制性假设。
• 通过设计理论边界能准确预测实际性能的算法，解决SPCA中的理论-实践鸿沟问题。
• 通过一种简单、快速的基于SVD的阈值方法，提供运行时间与准确率之间的权衡。
• 通过在SDP松弛上引入一种新颖的两步确定性阈值方案，提升SPCA的理论保证。
• 将方法的适用范围扩展至稀疏核主成分分析。

提出的方法

• 第一种算法spca-svd对输入协方差矩阵A的前导奇异向量应用阈值处理，生成具有可证明近似保证的稀疏向量。
• 第二种算法spca-sdp求解SPCA问题的一个经典半定规划（SDP）松弛问题，随后应用两步确定性阈值过程以提取稀疏主成分。
• 理论分析将近似误差以输入矩阵A谱特性导出的常数α和β表示，这些常数在真实数据集中与1非常接近。
• 算法在保持稀疏性（‖x‖₀ ≤ k）的同时，最大化单位范数约束下的Rayleigh商xᵀAx。
• 理论边界通过奇异值分解的性质和SDP松弛的结构推导得出，确保多项式时间复杂度。
• 通过将相同的阈值框架应用于核矩阵，将该方法扩展至稀疏核主成分分析。

实验结果

研究问题

• RQ1 是否可以将阈值处理作为可证明准确、多项式时间的SPCA近似算法，且不依赖对输入协方差矩阵的限制性假设？
• RQ2 为何基于SVD的阈值方法（spca-svd）在实践中表现强劲，尽管其理论边界预测性能较差？
• RQ3 在SDP松弛上引入一种新颖的两步确定性阈值方案，是否能同时提供强大的理论保证和对实际性能的准确预测？
• RQ4 spca-svd、spca-lowrank和spca-sdp的理论边界在实际中如何比较，尤其是在理论-实践鸿沟方面？
• RQ5 所提出的算法是否能近似恢复最优稀疏主成分向量x*的支持集，而不仅仅是最优值Z*？

主要发现

• spca-svd算法实现了快速运行时间与强劲的实际性能，但其理论边界无法预测其准确性，凸显了显著的理论-实践鸿沟。
• 基于SDP松弛与两步阈值处理的spca-sdp算法，其理论边界始终接近1，能准确预测其高实证准确性。
• 在HGDP/HapMap和基因表达数据等真实数据集中，理论边界的常数α和β与1非常接近，解释了spca-sdp的优异表现。
• spca-svd的理论边界在稀疏性水平较低时仍无意义（为负值），而spca-sdp的边界在所有测试的稀疏性水平下均保持为正且紧密。
• spca-sdp算法在理论准确率保证方面优于spca-svd和spca-lowrank，尤其在A的谱特性表现良好时。
• 实证结果表明，spca-sdp的理论边界与实际中的准确率比几乎无法区分，有效弥合了理论-实践鸿沟。