[论文解读] Solving Large-Scale Sparse PCA to Certifiable (Near) Optimality

Dimitris Bertsimas, Ryan Cory-Wright+1 more|London Business School Research Online (London Business School)|May 11, 2020

Sparse and Compressive Sensing Techniques参考文献 56被引用 11

一句话总结

本文提出一种割平面方法，通过将稀疏主成分分析（sparse PCA）重新表述为凸混合整数半定规划（MISDO）问题，以可验证的（近似）最优性求解大规模稀疏PCA问题。该方法在从 $p=300$ 个变量中选取 $k=5$ 个特征时实现了精确最优性，并在更大规模问题上提供了较小的最优性间隙。快速凸松弛与贪心舍入方案可在数分钟内实现 $p=1000$ 时 1–2% 的间隙。该方法在金融、医学及高维数据分析中实现了可解释且可行的主成分分析。

ABSTRACT

Sparse principal component analysis (PCA) is a popular dimensionality reduction technique for obtaining principal components which are linear combinations of a small subset of the original features. Existing approaches cannot supply certifiably optimal principal components with more than $p=100s$ of variables. By reformulating sparse PCA as a convex mixed-integer semidefinite optimization problem, we design a cutting-plane method which solves the problem to certifiable optimality at the scale of selecting k=5 covariates from p=300 variables, and provides small bound gaps at a larger scale. We also propose a convex relaxation and greedy rounding scheme that provides bound gaps of $1-2\%$ in practice within minutes for $p=100$s or hours for $p=1,000$s and is therefore a viable alternative to the exact method at scale. Using real-world financial and medical datasets, we illustrate our approach's ability to derive interpretable principal components tractably at scale.

研究动机与目标

• 解决大规模稀疏PCA在 $p > 100$ 变量下缺乏可验证最优解的问题。
• 克服启发式方法缺乏最优性保证且常无法恢复最优解的局限性。
• 开发一种可扩展的精确方法，为大规模稀疏PCA问题提供可验证的最优性间隙。
• 设计一种快速实用的松弛与舍入方案，使 $p=1000$ 时在数分钟内实现 1–2% 最优性间隙的近似最优解。
• 在医疗诊断、金融及蛋白质折叠等实际应用中，实现可解释的降维。

提出的方法

• 将稀疏PCA重新表述为凸混合整数半定规划（MISDO）问题，以支持精确全局优化。
• 开发一种割平面方法，通过迭代添加有效切割来强化对偶松弛，从而提升最优值的下界。
• 利用非负缩放对角占优矩阵对完全正锥进行凸松弛，以高效近似稀疏PCA问题。
• 在松弛解上实施贪心舍入方案，生成具有小最优性间隙的可行稀疏主成分。
• 利用Ky-Fan定理与半定规划对偶性，推导强对偶界，并指导割平面算法的执行。
• 通过适当的MISDO公式，将框架扩展至矩形矩阵及具有共同或互不相交支持的多个主成分。

实验结果

研究问题

• RQ1 能否在大规模下实现稀疏PCA的可验证最优性，特别是针对 $p=300$ 及以上的情形？
• RQ2 所提出的割平面方法在减少大规模稀疏PCA问题的最优性间隙方面效果如何？
• RQ3 快速凸松弛与舍入方案是否能在 $p=1000$ 时于数分钟内实现 1–2% 最优性间隙的近似最优解？
• RQ4 与现有启发式方法相比，该方法在解的质量与可靠性方面表现如何？
• RQ5 该框架在扩展至多个主成分及矩形矩阵公式方面具有多大程度的适用性？

主要发现

• 割平面方法在从 $p=300$ 个变量中选取 $k=5$ 个特征时实现了可验证最优性。
• 对于更大规模问题，该方法提供了较小的最优性间隙，证明其在现有精确方法极限之外仍具实际可扩展性。
• 凸松弛与贪心舍入方案在 $p=100$ 时数分钟内实现 1–2% 的最优性间隙，$p=1000$ 时在数小时内实现。
• 该方法在真实金融与医疗数据集上成功提取了可解释的主成分，验证了其实际应用价值。
• 该框架可推广至具有共同或互不相交支持的多个主成分，同时保持可扩展性与最优性保证。
• 与启发式方法相比，该方法提供了可验证的边界，避免了在未察觉情况下获得次优解的风险。