[论文解读] Exact and Approximation Algorithms for Sparse PCA

Yongchun Li, Weijun Xie|arXiv (Cornell University)|Aug 28, 2020

Sparse and Compressive Sensing Techniques参考文献 36被引用 6

一句话总结

本文通过利用谱分解和特征值性质，提出了两种用于稀疏主成分分析（sparse PCA）的精确混合整数二阶锥规划（MISDPs），其连续松弛界强于以往方法。此外，本文还提出了一种高精度的混合整数线性规划（MILP）近似方法，并证明了贪心算法与局部搜索算法的紧致近似比，从而实现了稀疏PCA及其在R1-SSVD和公平PCA中的扩展问题的可扩展且最优的解决方案。

ABSTRACT

Sparse PCA (SPCA) is a fundamental model in machine learning and data analytics, which has witnessed a variety of application areas such as finance, manufacturing, biology, healthcare. To select a prespecified-size principal submatrix from a covariance matrix to maximize its largest eigenvalue for the better interpretability purpose, SPCA advances the conventional PCA with both feature selection and dimensionality reduction. This paper proposes two exact mixed-integer SDPs (MISDPs) by exploiting the spectral decomposition of the covariance matrix and the properties of the largest eigenvalues. We then analyze the theoretical optimality gaps of their continuous relaxation values and prove that they are stronger than that of the state-of-art one. We further show that the continuous relaxations of two MISDPs can be recast as saddle point problems without involving semi-definite cones, and thus can be effectively solved by first-order methods such as the subgradient method. Since off-the-shelf solvers, in general, have difficulty in solving MISDPs, we approximate SPCA with arbitrary accuracy by a mixed-integer linear program (MILP) of a similar size as MISDPs. To be more scalable, we also analyze greedy and local search algorithms, prove their first-known approximation ratios, and show that the approximation ratios are tight. Our numerical study demonstrates that the continuous relaxation values of the proposed MISDPs are quite close to optimality, the proposed MILP model can solve small and medium-size instances to optimality, and the approximation algorithms work very well for all the instances. Finally, we extend the analyses to Rank-one Sparse SVD (R1-SSVD) with non-symmetric matrices and Sparse Fair PCA (SFPCA) when there are multiple covariance matrices, each corresponding to a protected group.

研究动机与目标

• 为解决现有稀疏PCA方法中缺乏严格满足 $||\mathbf{x}||_0 = k$ 卡尔迪纳尔约束的精确方法问题。
• 开发优于现有半定规划（SDP）松弛的稀疏PCA更强的连续松弛界。
• 设计适用于大规模稀疏PCA的可扩展近似算法，并提供可证明的近似比。
• 将该框架扩展至秩一稀疏SVD（R1-SSVD）和稀疏公平主成分分析（SFPCA），支持多个群体协方差矩阵。
• 提供一种实用且求解器友好的MILP模型，可任意精度逼近最优SPCA解。

提出的方法

• 利用谱分解和最大特征值性质，提出两种新颖的稀疏PCA精确混合整数半定规划（MISDPs）。
• 推导出两个强的锥型有效不等式，以增强MISDPs的连续松弛界。
• 将MISDPs的连续松弛重新表述为无半定锥的鞍点问题，从而可通过一阶次梯度方法求解。
• 提出一种混合整数线性规划（MILP），可任意精度逼近SPCA，并可由Gurobi等标准求解器求解。
• 利用MISDPs的连续松弛值进一步减小MILP模型的规模。
• 设计了具有可证明紧致近似比的贪心与局部搜索算法用于SPCA，并通过秩一矩阵松弛与公平性约束，将该框架扩展至R1-SSVD与SFPCA。

实验结果

研究问题

• RQ1 能否为稀疏PCA构建出严格满足卡尔迪纳尔约束 $||\mathbf{x}||_0 = k$ 的精确混合整数半定规划？
• RQ2 所提出的MISDPs的连续松弛界与现有SDP松弛相比，在最优性间隙方面表现如何？
• RQ3 MISDPs的连续松弛能否在无需半定锥的情况下高效求解？可实现何种收敛速率？
• RQ4 贪心与局部搜索算法在SPCA中的近似比是多少？这些界是否紧致？
• RQ5 所提出的框架能否扩展至R1-SSVD与具有多个群体协方差矩阵的稀疏公平PCA？在何种条件下松弛是精确的？

主要发现

• 所提出的MISDPs的连续松弛值严格强于当前最先进的SDP松弛，且具有可证明更紧的最优性间隙。
• MISDPs的连续松弛可重述为可通过次梯度方法求解的鞍点问题，收敛速率为 $O(1/T)$。
• 次梯度方法中的投影预言器可简化为二阶锥规划，从而在无需SDP求解器的情况下实现计算可行性。
• 所提出的MILP模型可任意精度逼近最优SPCA解，并能求解小型与中型实例至最优。
• 贪心与局部搜索算法首次为SPCA提供了可证明的近似比，且该界被证明是紧致的。
• 对于具有 $s=2$ 个群体的稀疏公平PCA，所提出的MISDP公式是精确的；当 $s>2$ 时，其提供有效的上界，且解具有低秩特性。