[論文レビュー] An Equivalence between the Lasso and Support Vector Machines

Martin Jaggi|arXiv (Cornell University)|Mar 5, 2013

Machine Learning and Algorithms参考文献 45被引用数 32

ひとこと要約

本稿では、Lassoと$ε$-損失を伴うサポートベクターマシン（SVM）の間の数学的同等性を確立し、すべてのLasso問題を等価なSVM問題に再定式化できること、逆にすべてのSVM問題も等価なLasso問題に再定式化できることを示している。主な貢献は、Lasso解のスパarsityパターンが、対応するSVMにおけるサポートベクターに正確に一致することであり、これにより、両手法間でアルゴリズム、理論的知見、スクリーニングルールの相互移転が可能になる。

ABSTRACT

We investigate the relation of two fundamental tools in machine learning and signal processing, that is the support vector machine (SVM) for classification, and the Lasso technique used in regression. We show that the resulting optimization problems are equivalent, in the following sense. Given any instance of an $\ell_2$-loss soft-margin (or hard-margin) SVM, we construct a Lasso instance having the same optimal solutions, and vice versa. As a consequence, many existing optimization algorithms for both SVMs and Lasso can also be applied to the respective other problem instances. Also, the equivalence allows for many known theoretical insights for SVM and Lasso to be translated between the two settings. One such implication gives a simple kernelized version of the Lasso, analogous to the kernels used in the SVM setting. Another consequence is that the sparsity of a Lasso solution is equal to the number of support vectors for the corresponding SVM instance, and that one can use screening rules to prune the set of support vectors. Furthermore, we can relate sublinear time algorithms for the two problems, and give a new such algorithm variant for the Lasso. We also study the regularization paths for both methods.

研究の動機と目的

• Lassoと$ε$-損失SVMの間の正式な数学的同等性を確立し、両手法間でのアルゴリズムと理論の相互移転を可能にする。
• Lasso解のスパarsityが、対応するSVMインスタンスにおけるサポートベクターの数に等しいことを実証する。
• Lassoに開発されたスクリーニングルールをSVMに直接適用し、事前処理および次元削減を可能にする。
• 同等性を用いてSVMのカーネル法をLassoに拡張し、カーネル化されたLassoを可能にする。
• 両手法の正則化パスを分析・比較し、パrameterの変化に伴う構造的類似性を明らかにする。

提案手法

• $ε$-損失SVMの双対定式化を、単位シンプレックス上の最小ノルム問題として構築する：$\min_{x\in\triangle} \|Ax\|^2$、ここで$A$はデータおよび正則化成分を統合する。
• Lasso問題$\min_{x\in\blacklozenge} \|Ax - b\|^2$を、データ行列と制約を再定義することで、等価なSVMインスタンスに変換する。
• 同等性を用いて、Lasso解のスパarsityパターンを直接、対応するSVMのサポートベクターにマッピングする。
• SVMに既存のサブリニア時間アルゴリズムを活用し、Lasso用の新しいサブリニア時間バージョンを導出する。
• 同等性を用いて、SVMインスタンスをカーネル関数により高次元空間にマッピングすることで、Lassoにカーネルトリックを適用する。
• 同等性を用いて、両手法の正則化パスを関連づけ、パスの複雑さとサポートベクターの変化が構造的に関連していることを示す。

実験結果

リサーチクエスチョン

• RQ1 すべてのLasso問題を、同一の最適解を持つ等価なSVM問題に再定式化できるか？
• RQ2 Lasso解のスパarsityパターンは、対応するSVMインスタンスにおけるサポートベクターの集合と同一か？
• RQ3 Lasso用に開発されたスクリーニングルールをSVMに直接適用し、トレーニング前に非サポートベクターを事前に同定・削除できるか？
• RQ4 SVMから得られるカーネル法を、同等性を介してLassoに自然に拡張できるか？
• RQ5 パrameterの変化に伴うLassoとSVMの正則化パスはどのように比較できるか？また、これにより解の複雑さにどのような示唆が得られるか？

主な発見

• 提案された変換のもとで、Lasso問題とその等価SVMインスタンスの最適解は同一であり、一対一の対応関係が確立された。
• Lasso解における非ゼロ係数の数が、対応するSVMにおけるサポートベクターの数に等しいことから、スパarsityの同等性が確認された。
• Lassoから得られたスクリーニングルールをSVMに適用し、非活性変数（非サポートベクター）をトレーニング前に特定・削除でき、問題のサイズを削減できる。
• SVMのカーネルトリックを用いることで、Lassoのカーネル化バージョンが自然に導出され、Lassoに類似したスパarsityを持つ非線形回帰が可能になった。
• SVM用に開発されたサブリニア時間アルゴリズムをLasso問題に直接適用でき、新しい効率的アルゴリズムバージョンが得られた。
• Lassoの正則化パスをSVM設定にマッピングすることで、サポートベクターの数がデータスケーリングに強く依存し、パスの複雑さが顕著に変化することが明らかになった。