[論文レビュー] Safe Feature Elimination for the LASSO and Sparse Supervised Learning Problems

Laurent El Ghaoui, Vivian Viallon+1 more|arXiv (Cornell University)|Sep 21, 2010

Sparse and Compressive Sensing Techniques参考文献 17被引用数 118

ひとこと要約

本稿では、最適化問題を解く前段階で不要な特徴量を保証的に削除できる、安全でヒューリスティックでないLASSOおよびスパースな教師付き学習問題向けの特徴量除去手法を提案する。双対性とKKT条件を活用することで、特に高い正則化レベルにおいて顕著な計算高速化が可能となり、解の正確性を損なわずに問題のサイズを最大で1桁小さくすることができる。

ABSTRACT

We describe a fast method to eliminate features (variables) in l1 -penalized least-square regression (or LASSO) problems. The elimination of features leads to a potentially substantial reduction in running time, specially for large values of the penalty parameter. Our method is not heuristic: it only eliminates features that are guaranteed to be absent after solving the LASSO problem. The feature elimination step is easy to parallelize and can test each feature for elimination independently. Moreover, the computational effort of our method is negligible compared to that of solving the LASSO problem - roughly it is the same as single gradient step. Our method extends the scope of existing LASSO algorithms to treat larger data sets, previously out of their reach. We show how our method can be extended to general l1 -penalized convex problems and present preliminary results for the Sparse Support Vector Machine and Logistic Regression problems.

研究の動機と目的

• 高次元の特徴量行列に起因する大規模LASSO問題の計算ボトル neck を解消すること。
• 最適LASSO解において必ずゼロとなることが保証される特徴量を特定・削除する前処理手法の開発。
• 真の解で非ゼロとなる可能性のある特徴量を誤って削除しない「安全な」特徴量除去を実現するとともに、計算効率も確保すること。
• LASSOにとどまらず、ロジスティック回帰やスパースSVMを含む一般の$\ell_1$-正則化凸問題へもこの手法を拡張すること。
• 特にスパースで高次元な特徴量を持つテキスト分類の文脈において、大規模データ処理におけるメモリ使用量と実行時間の削減を実現すること。

提案手法

• 双対性とKKT条件を活用した「安全な」特徴量除去（SAFE）基準を提案し、最適解で必ずゼロとなる特徴量を特定する。
• 双対問題と$\ell_1$-ノルムの部分勾配を用いて、特徴量除去の十分条件を導出。これにより誤った削除（偽陰性）が発生しない。
• $\alpha$スケーリングされた双対変数と特徴量間相関に基づくしきい値ルールを採用。$\alpha$は除去の保守性を制御する。
• 各特徴量に対して独立に適用可能であり、並列処理が容易で、計算コストは勾配1ステップ分に相当するほど無視できる。
• 一般の$\ell_1$-正則化凸問題に対しても、その双対定式化を活用することでSAFEフレームワークを拡張。
• 合成データおよび実世界のテキストデータを用いて検証し、KKTしきい値ルールおよび異なる双対ギャップを設定したIPMソルバーと比較。

実験結果

リサーチクエスチョン

• RQ1 最適化を実行する前段階で、保証的に正しい方法でLASSO問題から特徴量を同定・削除することは可能か？
• RQ2 提案手法であるSAFE法は、既存のスクリーニングルールと比較して、解の正確性およびソルバーの許容誤差に対するロバスト性において優れているか？
• RQ3 高次元スパース学習問題において、特徴量除去が計算コストおよびメモリ使用量をどの程度削減できるか？
• RQ4 正則化パラメータ$\lambda$の値が異なる場合、SAFE法の性能はどのように変化するか？
• RQ5 SAFEフレームワークは、ロジスティック回帰やスパースSVMといった他の$\ell_1$-正則化問題へ一般化可能か？

主な発見

• 高次元テキストデータにおいて、SAFE法は特徴量数を最大で10倍まで削減でき、計算負荷を顕著に低減した。
• $\lambda = \lambda_{\text{max}}/1000$の条件下で、双対ギャップを$10^{-4}$に設定した場合、$\alpha = 2$のSAFE法はKKTルールに比べて活性特徴量数を20–30%削減した。
• IPMソルバーにおける双対ギャップの変動に対して、KKTしきい値ルールよりもSAFE法ははるかに感受性が低く、さまざまなソルバーターランスにおいて一貫した性能を示した。
• 双対ギャップを$10^{-8}$に設定した場合、$\alpha = 2, 3, 4$のSAFE法はKKTルールと同等の性能を示し、高精度ソルバ設定下でも信頼性が確認された。
• $\alpha$の選択は性能に影響を与える：$\lambda$が低い場合には$\alpha = 2$が最良の性能を示したが、$n$が小さく$\lambda$が高い場合には$\alpha = 3$および$4$が優れていた。
• NYTヘッドラインデータセット（$n = 38,377$）において、双対ギャップを$10^{-4}$に設定した場合、$\alpha = 2$または$3$のSAFE法はKKTルールよりも一貫して活性特徴量数を効果的に削減した。これは、実世界の設定でもロバストであることを示している。