[论文解读] An Equivalence between the Lasso and Support Vector Machines

Martin Jaggi|arXiv (Cornell University)|Mar 5, 2013

Machine Learning and Algorithms参考文献 45被引用 32

一句话总结

本文建立了套索（Lasso）与带 $ε$-损失的支持向量机（SVMs）之间的数学等价性，表明每个套索问题均可重述为等价的SVM问题，反之亦然。其核心贡献在于，套索解的稀疏模式与对应SVM中的支持向量完全一致，从而实现了两种方法之间算法、理论洞见及筛选规则的交叉迁移。

ABSTRACT

We investigate the relation of two fundamental tools in machine learning and signal processing, that is the support vector machine (SVM) for classification, and the Lasso technique used in regression. We show that the resulting optimization problems are equivalent, in the following sense. Given any instance of an $\ell_2$-loss soft-margin (or hard-margin) SVM, we construct a Lasso instance having the same optimal solutions, and vice versa. As a consequence, many existing optimization algorithms for both SVMs and Lasso can also be applied to the respective other problem instances. Also, the equivalence allows for many known theoretical insights for SVM and Lasso to be translated between the two settings. One such implication gives a simple kernelized version of the Lasso, analogous to the kernels used in the SVM setting. Another consequence is that the sparsity of a Lasso solution is equal to the number of support vectors for the corresponding SVM instance, and that one can use screening rules to prune the set of support vectors. Furthermore, we can relate sublinear time algorithms for the two problems, and give a new such algorithm variant for the Lasso. We also study the regularization paths for both methods.

研究动机与目标

• 建立套索与 $ε$-损失SVM之间的正式数学等价性，以实现方法间算法与理论的交叉应用。
• 证明套索解的稀疏性与对应SVM实例中支持向量的数量完全等价。
• 使套索中开发的筛选规则可直接应用于SVM，用于预处理与降维。
• 通过等价性将SVM的核方法扩展至套索，实现核化套索。
• 分析并比较两种方法的正则化路径，揭示在参数变化下其结构相似性。

提出的方法

• 将 $ε$-损失SVM构建为单位单纯形上的最小范数问题：$\min_{x\in\triangle} \|Ax\|^2$，其中 $A$ 整合了数据与正则化分量。
• 通过重新定义数据矩阵与约束条件，将套索问题 $\min_{x\in\blacklozenge} \|Ax - b\|^2$ 转化为等价的SVM实例。
• 利用等价性，将套索解的稀疏模式直接映射至对应SVM的支持向量。
• 利用现有SVM的亚线性时间算法，推导出套索的新亚线性时间变体。
• 通过将等价SVM实例映射到高维空间的核函数，将核技巧应用于套索。
• 利用等价性关联两种方法的正则化路径，表明路径复杂度与支持向量的变化在结构上密切相关。

实验结果

研究问题

• RQ1 每个套索问题是否都能被重述为具有相同最优解的等价SVM问题？
• RQ2 套索解的稀疏模式是否与对应SVM实例中的支持向量集合完全一致？
• RQ3 能否将为套索开发的筛选规则直接应用于SVM，以预先识别并移除非支持向量？
• RQ4 能否通过等价性自然地将SVM的核方法扩展至套索？
• RQ5 在参数变化下，套索与SVM的正则化路径如何比较？这对解的复杂性有何启示？

主要发现

• 在所提出的变换下，套索问题与其等价SVM实例的最优解完全相同，建立了唯一对应关系。
• 套索解中非零系数的数量等于对应SVM中支持向量的数量，证实了稀疏性等价性。
• 可将套索的筛选规则应用于SVM，以识别并提前移除非活跃变量（非支持向量），从而减小问题规模。
• 通过SVM的核技巧自然导出套索的核化变体，实现具有套索式稀疏性的非线性回归。
• 为SVM开发的亚线性时间算法可直接应用于套索问题，从而获得新的高效算法变体。
• 套索的正则化路径可映射至SVM设置，揭示支持向量数量在数据缩放下可能显著变化，表明存在潜在的路径复杂性。