[论文解读] Convex Relaxations for Subset Selection

Francis Bach, Selin Damla Ahipaşaoğlu+1 more|arXiv (Cornell University)|Jun 18, 2010

Sparse and Compressive Sensing Techniques参考文献 21被引用 10

一句话总结

本文提出凸松弛技术以计算子集选择问题最优值的下界，从而为分支定界算法提供更紧的下界，并通过随机化取整改进解的质量。主要贡献在于为稀疏特征值松弛方法提供了可证明的近似比，显著减少了精确搜索中探索的节点数，且在基准问题上优于贪心法和LASSO方法。

ABSTRACT

We use convex relaxation techniques to produce lower bounds on the optimal value of subset selection problems and generate good approximate solutions. We then explicitly bound the quality of these relaxations by studying the approximation ratio of sparse eigenvalue relaxations. Our results are used to improve the performance of branch-and-bound algorithms to produce exact solutions to subset selection problems.

研究动机与目标

• 为稀疏最小二乘回归中的NP难子集选择问题开发基于凸松弛的下界。
• 通过使用这些下界在搜索树中剪除更多节点，提升分支定界算法的效率。
• 通过松弛解的随机化取整生成高质量的近似解，其性能优于贪心法和LASSO方法。
• 推导稀疏特征值松弛方法在性能上的理论近似界。
• 通过实证结果表明，所提出的下界可显著减少精确分支定界搜索中访问的节点数。

提出的方法

• 将子集选择问题表述为涉及设计矩阵 $X$ 和响应向量 $y$ 的稀疏特征值问题，通过半定规划实现松弛。
• 利用半定规划（SDP）构建稀疏特征值问题的凸松弛，从下方界定向优目标值。
• 对SDP解矩阵 $Z$ 进行随机化取整，生成满足稀疏性的可行解，性能优于贪心法和基于LASSO的方法。
• 将松弛方法用于计算下界，以在分支定界框架中剪枝节点，加速精确解的搜索。
• 采用一阶方法高效求解大规模半定松弛问题，使方法可应用于 $p$ 达1000的问题。
• 利用特征值交错性质与对偶性，推导松弛方法近似比的理论界。

实验结果

研究问题

• RQ1 凸松弛技术能否为子集选择问题生成紧致的下界，从而提升分支定界算法中的剪枝效率？
• RQ2 在解的质量方面，对松弛解进行随机化取整的方法相较于贪心法和LASSO方法表现如何？
• RQ3 稀疏特征值松弛方法在子集选择问题上的理论近似比是多少？
• RQ4 所提出的下界在多大程度上减少了精确子集选择中分支定界算法探索的节点数？
• RQ5 在 $p$ 达1000的大规模问题上，所提出的松弛与求解方法的可扩展性如何？

主要发现

• 所提出的凸松弛方法提供了紧致的下界，显著减少了分支定界中访问的节点数，小规模测试实例的平均加速比达57倍。
• 增强的随机化算法——对SDP解进行随机化取整——在160个小型测试实例中找到了113个最优解，优于前向贪心法（105/160）。
• 在 $p=24$，$n=16$ 的图像块数据上，增强随机化方法对 $k=2,3,4$ 的10个实例中有9个找到最优解，最大相对间隙低于1%，而贪心法在每个 $k$ 值下失败1-2个实例。
• 从松弛中导出的下界有效剪除了搜索树的大部分节点，某些情况下平均访问节点数从超过98,000降至200以下。
• 求解SDP松弛的CPU时间扩展合理，$p=1000$ 时仅略低于1.5小时，表明具有实际可扩展性。
• 基于松弛的下界在目标值上始终优于或匹配贪心法和LARS算法的最佳表现，尤其在稀疏解的真实稀疏度附近表现更优。