[论文解读] A convex integer programming approach for optimal sparse PCA

Santanu S. Dey, Rahul Mazumder+1 more|arXiv (Cornell University)|Oct 22, 2018

Sparse and Compressive Sensing Techniques参考文献 34被引用 9

一句话总结

本文提出了一种用于稀疏主成分分析（SPCA）的凸整数规划（IP）框架，该框架在协方差矩阵规模达2000×2000时，相较于标准半定规划（SDP）松弛方法，在解的质量和可扩展性方面均显著更优，同时通过对偶边界提供了最优性证明，实现了近似最优解。

ABSTRACT

Principal component analysis (PCA) is one of the most widely used dimensionality reduction tools in scientific data analysis. The PCA direction, given by the leading eigenvector of a covariance matrix, is a linear combination of all features with nonzero loadings---this impedes interpretability. Sparse principal component analysis (SPCA) is a framework that enhances interpretability by incorporating an additional sparsity requirement in the feature weights (factor loadings) while finding a direction that explains the maximal variation in the data. However, unlike PCA, the optimization problem associated with the SPCA problem is NP-hard. While many heuristic algorithms based on variants of the power method are used to obtain good solutions, they do not provide certificates of optimality on the solution-quality via associated dual bounds. Dual bounds are available via standard semidefinite programming (SDP) based relaxations, which may not be tight and the SDPs are difficult to scale using off-the-shelf solvers. In this paper, we present a convex integer programming (IP) framework to solve the SPCA problem to near-optimality, with an emphasis on deriving associated dual bounds. We present worst-case results on the quality of the dual bound provided by the convex IP. We empirically observe that the dual bounds are significantly better than worst-case performance, and are superior to the SDP bounds on some real-life instances. Moreover, solving the convex IP model using commercial IP solvers appears to scale much better that solving the SDP-relaxation using commercial solvers. To the best of our knowledge, we obtain the best dual bounds for real and artificial instances for SPCA problems involving covariance matrices of size up to $2000 imes 2000$.

研究动机与目标

• 通过凸IP公式化提供对偶边界，以解决启发式SPCA方法缺乏最优性证明的问题。
• 克服半定规划（SDP）松弛方法在大规模SPCA问题上的可扩展性限制。
• 开发一种凸IP模型，以实现稀疏PCA的近似最优解，并提供可证明的边界。
• 通过实证验证，表明凸IP框架的对偶边界在真实和人工实例上优于标准SDP松弛方法的对偶边界。
• 确立该框架在协方差矩阵规模达2000×2000的SPCA问题中，作为对偶边界质量的最先进水平。

提出的方法

• 通过引入二值变量来在因子载荷中强制实现稀疏性，将稀疏PCA问题公式化为凸混合整数规划。
• 利用非凸稀疏PCA问题的凸松弛，通过商业IP求解器实现高效求解。
• 通过整数规划的对偶理论推导对偶边界，提供解质量的证明。
• 应用重构技术，将原始非凸问题转化为保持强对偶性质的凸IP模型。
• 利用商业优化求解器高效求解凸IP模型，实现超越传统SDP求解器的可扩展性。
• 在真实和人工数据集上验证该方法，与基于SDP的方法对比对偶边界和求解时间。

实验结果

研究问题

• RQ1 凸整数规划公式化能否在稀疏PCA问题上提供比标准半定规划松弛更紧致的对偶边界？
• RQ2 凸IP方法在大规模SPCA问题上的可扩展性与基于SDP的方法相比如何？
• RQ3 凸IP框架在实现稀疏PCA近似最优性的同时，提供对偶边界的能力在多大程度上得以实现？
• RQ4 所提出的方法在解质量方面是否优于现有启发式算法，并提供可证明的保证？
• RQ5 该凸IP模型是否能通过商业求解器有效求解规模达2000×2000的协方差矩阵？

主要发现

• 凸IP框架提供的对偶边界显著优于最坏情况下的理论预期，尤其在真实世界和人工实例中表现突出。
• 在多个真实SPCA实例中，凸IP方法的对偶边界优于标准SDP松弛方法。
• 与基于商业SDP求解器的SDP松弛相比，凸IP模型在商业IP求解器上展现出更优的可扩展性，尤其在大矩阵情况下。
• 对于规模达2000×2000的协方差矩阵，该方法在文献中实现了SPCA问题的最佳已知对偶边界。
• 该方法可提供接近最优的解，其对偶边界可作为解质量的证明，克服了启发式SPCA算法的关键局限。