[论文解读] Optimal Solutions for Sparse Principal Component Analysis

Alexandre d’Aspremont, Francis Bach+1 more|arXiv (Cornell University)|Jul 4, 2007

Sparse and Compressive Sensing Techniques参考文献 20被引用 90

一句话总结

本文提出了一种用于稀疏主成分分析（SPCA）的新颖半定松弛方法，可在 O(n³) 时间内高效计算所有稀疏度水平的全局最优解。该方法引入一种贪心算法以生成完整的解路径，并提供可处理的充分条件，通过一维凸最小化问题的二分搜索验证任意候选解的全局最优性。

ABSTRACT

Given a sample covariance matrix, we examine the problem of maximizing the variance explained by a linear combination of the input variables while constraining the number of nonzero coefficients in this combination. This is known as sparse principal component analysis and has a wide array of applications in machine learning and engineering. We formulate a new semidefinite relaxation to this problem and derive a greedy algorithm that computes a full set of good solutions for all target numbers of non zero coefficients, with total complexity O(n^3), where n is the number of variables. We then use the same relaxation to derive sufficient conditions for global optimality of a solution, which can be tested in O(n^3) per pattern. We discuss applications in subset selection and sparse recovery and show on artificial examples and biological data that our algorithm does provide globally optimal solutions in many cases.

研究动机与目标

• 解决在高维数据中寻找能最大化解释方差且保持可解释性的稀疏主成分的挑战。
• 通过开发一种凸松弛方法，克服稀疏 PCA 的 NP-难问题，实现高效的全局优化。
• 提供一种计算高效的算法，能够为从 1 到 n 的所有目标稀疏度水平计算完整的解路径。
• 推导出可用于测试候选解全局最优性的充分条件，且该测试可在 O(n³) 时间内完成。
• 在人工数据集和生物数据集上展示该方法的有效性，表明其在许多情况下可实现全局最优解。

提出的方法

• 将稀疏 PCA 建模为非凸问题：最大化 zᵀΣz − ρ·Card(z)，其中 Σ 为样本协方差矩阵，ρ 控制稀疏度。
• 提出一种新的半定松弛方法，保持凸性，并支持高效解路径计算。
• 设计一种贪心算法，通过利用对称矩阵最大特征值的凸性，以 O(n³) 总时间计算所有稀疏度水平下的完整候选解集。
• 基于一维凸最小化问题推导出全局最优性的充分条件，可通过二分搜索求解。
• 利用柯西留数公式和矩阵扰动理论分析特征值行为，并推导最优性条件。
• 将该方法应用于子集选择与稀疏恢复问题，表明其在标准 PCA 之外也具有实际应用价值。

实验结果

研究问题

• RQ1 我们能否比现有方法更高效地计算所有稀疏度水平下的全局最优稀疏主成分？
• RQ2 是否可能推导出一种稀疏 PCA 的凸松弛方法，使其既能实现快速解路径计算，又能实现全局最优性验证？
• RQ3 在真实数据与合成数据上，该方法能否在解质量上优于现有的启发式或贪心方法？
• RQ4 如何高效地验证给定稀疏解是否为全局最优，而无需进行穷举搜索？
• RQ5 在保证全局最优性的前提下，计算完整解路径的计算复杂度是多少？

主要发现

• 所提出的贪心算法以 O(n³) 总时间计算从 1 到 n 的所有稀疏度水平的完整候选解路径，显著优于先前贪心方法的 O(n⁴) 复杂度。
• 该方法提供了可在 O(n³) 时间内通过一维凸问题的二分搜索验证的全局最优性充分条件。
• 在人工数据集和生物数据集上，该算法在许多情况下实现了全局最优解，展现出强大的经验性能。
• 所采用的半定松弛方法被证明比以往的松弛方法更紧致、更有效，从而提升了全局最优性验证能力。
• 该方法可高效应用于子集选择与稀疏恢复问题，显著扩展了其在标准稀疏 PCA 之外的应用范围。
• 理论分析证实，该方法的最优性检验既具有可计算性又可靠，为验证稀疏 PCA 解提供了实用工具。