[论文解读] A Combinatorial Algorithm to Compute Regularization Paths

Bernd Gärtner, Joachim Giesen+2 more|ArXiv.org|Mar 27, 2009

Multi-Criteria Decision Making参考文献 36被引用 8

一句话总结

本文提出了一种稳健的、通用的组合型交叉算法，用于在参数二次规划（pQPs）中计算完整的正则化路径，无需对奇异或低秩的目标矩阵进行扰动，即可实现精确的解路径追踪。与现有方法在退化或秩亏问题上失效不同，该方法高效处理此类情况——在一项24水平的属性价值估计选择性联合分析中，即使在路径弯曲处也仅用48次迭代完成追踪，尽管初始阶段有580步。

ABSTRACT

For a wide variety of regularization methods, algorithms computing the entire solution path have been developed recently. Solution path algorithms do not only compute the solution for one particular value of the regularization parameter but the entire path of solutions, making the selection of an optimal parameter much easier. Most of the currently used algorithms are not robust in the sense that they cannot deal with general or degenerate input. Here we present a new robust, generic method for parametric quadratic programming. Our algorithm directly applies to nearly all machine learning applications, where so far every application required its own different algorithm. We illustrate the usefulness of our method by applying it to a very low rank problem which could not be solved by existing path tracking methods, namely to compute part-worth values in choice based conjoint analysis, a popular technique from market research to estimate consumers preferences on a class of parameterized options.

研究动机与目标

• 开发一种通用的、稳健的参数二次规划（pQPs）解路径算法，即使在目标矩阵为奇异或低秩时也能适用。
• 克服现有路径追踪算法在机器学习中的局限性，这些算法在核矩阵秩亏时会失效或需要扰动。
• 提供一个统一框架，适用于多种正则化方法（包括SVM、LASSO和联合分析），而无需针对具体问题进行调整。
• 在真实世界中的低秩问题（如选择性联合分析）中展示该方法的有效性，此前的方法因退化而失效。
• 建立一种数值稳定、高效的替代方案，以替代依赖扰动的方法，后者会扭曲解路径并增加计算成本。

提出的方法

• 该方法采用组合型交叉算法直接求解pQPs，无需矩阵求逆，从而能稳健处理奇异或低秩的海森矩阵。
• 通过遍历约束的活动集来追踪整个解路径，保持精确解，且不扰动原始问题。
• 该算法基于参数二次规划理论，并利用几何框架中超平面与点之间的对偶性。
• 避免了矩阵求逆带来的数值不稳定性，尤其适用于稀疏问题，如线性SVM和联合分析。
• 该方法具有通用性：适用于任何可简化为单个pQP的正则化方法，包括C-SVM、LASSO、ν-SVM和一类SVM。
• 在选择性联合分析中，该方法将问题表述为带松弛变量的软间隔C-SVM，从而得到一个低秩、半正定矩阵的pQP。

实验结果

研究问题

• RQ1 是否能通过单一、通用的算法，为所有简化为参数二次规划的机器学习方法计算正则化路径，即使在目标矩阵奇异时也能实现？
• RQ2 在退化或低秩问题上，交叉算法与现有路径追踪算法相比，在数值稳定性和鲁棒性方面表现如何？
• RQ3 该方法能否在真实应用场景（如选择性联合分析）中有效追踪解路径，其中设计矩阵稀疏且低秩？
• RQ4 使用交叉算法进行路径追踪的计算成本如何，特别是在解路径的弯曲处？
• RQ5 避免矩阵扰动是否能带来比标准方法更准确、更稳定的解路径？

主要发现

• 交叉算法成功计算了选择性联合分析中24水平属性价值估计问题的完整正则化路径，该问题因低秩矩阵而使现有方法失效。
• 对于从C区间1到6.09×10¹³的路径，算法在前580次迭代内到达第一个弯曲点，随后对接下来两个弯曲点分别仅用47次和22次迭代，表明在弯曲点处具有极高效率。
• 该方法无需扰动原始问题，保留了真实解路径，避免了人为的秩膨胀。
• 该算法表现出数值稳定性，在路径追踪过程中未出现误差累积，而扰动方法则存在此问题。
• 结果证实，交叉算法对退化情况具有鲁棒性，适用于现实应用中常见的稀疏低秩问题。
• 尽管实验实现尚未优化，但已展现出未来在大规模机器学习任务中高性能部署的强大潜力。