[論文レビュー] Safe Feature Elimination in Sparse Supervised Learning

Laurent El Ghaoui, Vivian Viallon+1 more|arXiv (Cornell University)|Sep 17, 2010

Machine Learning and Algorithms参考文献 20被引用数 177

ひとこと要約

この論文は、凸損失関数とl1正則化を用いたスパースな教師あり学習に対して、証明可能に安全な特徴量削除手法を提案する。最適解において必ずゼロとなる特徴量を特定・削除することで、最適化の前段階で次元を著しく削減する。これにより線形時間計算量を達成し、既存のソルバがはるかに大きなデータセットを処理可能にし、特にスパースモデルを用いたテキスト分類において顕著な効果を発揮する。

ABSTRACT

We investigate fast methods that allow to quickly eliminate variables (features) in supervised learning problems involving a convex loss function and a $l_1$-norm penalty, leading to a potentially substantial reduction in the number of variables prior to running the supervised learning algorithm. The methods are not heuristic: they only eliminate features that are {\em guaranteed} to be absent after solving the learning problem. Our framework applies to a large class of problems, including support vector machine classification, logistic regression and least-squares. The complexity of the feature elimination step is negligible compared to the typical computational effort involved in the sparse supervised learning problem: it grows linearly with the number of features times the number of examples, with much better count if data is sparse. We apply our method to data sets arising in text classification and observe a dramatic reduction of the dimensionality, hence in computational effort required to solve the learning problem, especially when very sparse classifiers are sought. Our method allows to immediately extend the scope of existing algorithms, allowing us to run them on data sets of sizes that were out of their reach before.

研究の動機と目的

• スパースな教師あり学習問題の最適解において、必ずゼロとなることが保証される特徴量を、ヒューリスティックを用いずに高速に同定・削除する手法を開発すること。
• 標準的なソルバを走らせる前段階で不要な特徴量を削除することで、大規模な学習タスクにおける計算コストを低減すること。
• 最適化の前段階での次元削減によって、既存のスパース学習アルゴリズムの適用範囲をより大きなデータセットに拡大すること。
• 特徴量およびサンプル数に対して線形の計算量を達成することで、特にスパースデータに対して効率的かつスケーラブルな手法を保証すること。

提案手法

• 双対性と最適性条件を用いて、最終的なl1正則化最適解において、必ずゼロとなることが保証される特徴量を同定する。
• 双対解が特定の特徴量の係数をゼロにすることを示す、双対に基づく基準を適用する。
• 削除ステップの計算時間はO(n * d)であり、サンプル数nと特徴量数dに線形に増加する。
• 最小二乗法、ロジスティック回帰、l1正則化付きサポートベクターマシンを含む広範な問題クラスに適用可能である。
• データのスパarsityを活用することで、計算コストをさらに低減し、高次元のスパースデータセットに対して特に効率的である。

実験結果

リサーチクエスチョン

• RQ1 スパースな教師あり学習問題の最適解において、必ずゼロとなることが保証される特徴量を、完全な最適化を実行せずに同定・削除することは可能か？
• RQ2 データサイズに線形にスケーリングする計算効率の高い安全な特徴量削除手法をどのように設計できるか？
• RQ3 安全な特徴量削除によって、大規模なスパースデータセットの次元削減はどの程度達成可能か？
• RQ4 この手法は、ロジスティック回帰やSVMなど、さまざまな凸損失関数とl1正則化を組み合わせた問題に一貫して適用可能か？

主な発見

• 提案手法による特徴量削除は、特に非常にスパースな分類器を求める場合に、次元の著しい削減を達成する。
• 削除ステップの計算コストは、主な最適化処理に比べて無視できるほど小さく、特徴量数およびサンプル数に線形に増加する。
• 最小二乗法、ロジスティック回帰、l1正則化付きサポートベクターマシンを含む広範な問題クラスに適用可能である。
• この手法により、従来の計算制約により処理が困難だったデータセットを、既存のソルバが処理可能にした。
• テキスト分類データセットのようなスパースデータにおいて特に効果的であり、スパarsityが計算効率の向上をさらに強化する。