[論文レビュー] A Safe Screening Rule for Sparse Logistic Regression

Jie Wang, Jiayu Zhou+3 more|arXiv (Cornell University)|Jul 16, 2013

Face and Expression Recognition参考文献 31被引用数 57

ひとこと要約

本稿では、スパースなロジスティック回帰の解におけるゼロ係数を持つ特徴量を安全に特定・除外できる、新しい安全スクリーニングルールSloresを提案する。特徴量ベクトルと双対最適解の内積の上界を、閉形式解を有する制約付き凸最適化問題として定式化することにより、Sloresは1回のデータスキャンで処理可能であり、安全性を損なわずにスパースなロジスティック回帰の解法を最大10倍高速化する。これは、強力ルールのようなヒューリスティック手法とは異なり、安全である。

ABSTRACT

The l1-regularized logistic regression (or sparse logistic regression) is a widely used method for simultaneous classification and feature selection. Although many recent efforts have been devoted to its efficient implementation, its application to high dimensional data still poses significant challenges. In this paper, we present a fast and effective sparse logistic regression screening rule (Slores) to identify the 0 components in the solution vector, which may lead to a substantial reduction in the number of features to be entered to the optimization. An appealing feature of Slores is that the data set needs to be scanned only once to run the screening and its computational cost is negligible compared to that of solving the sparse logistic regression problem. Moreover, Slores is independent of solvers for sparse logistic regression, thus Slores can be integrated with any existing solver to improve the efficiency. We have evaluated Slores using high-dimensional data sets from different applications. Extensive experimental results demonstrate that Slores outperforms the existing state-of-the-art screening rules and the efficiency of solving sparse logistic regression is improved by one magnitude in general.

研究の動機と目的

• 高次元データを伴う大規模なスパースなロジスティック回帰問題を解く際の計算課題に対処すること。
• 解における非ゼロ係数を持つ特徴量が誤って除外されないよう、安全にゼロ係数特徴量を特定・除外できるスクリーニングルールを開発すること。
• 1回のデータ走査で実行可能であり、主な最適化処理と比較して計算コストが無視できるほど小さい方法を設計すること。
• 既存のスパースなロジスティック回帰ソルバーとシームレスに統合可能な、ソルバーに依存しないスクリーニングルールを作成すること。

提案手法

• ℓ₁正則化付きロジスティック回帰に対する安全なスクリーニングルールとしてSloresを提案し、非ゼロ係数を持つ特徴量が除外されないことを保証する。
• 制約付き凸最適化問題を用いて、各特徴量ベクトルと双対最適解の内積の上界を推定する。
• 上界推定のための閉形式解を導出し、最小限のオーバーヘッドで効率的な計算を可能にする。
• 双対に基づくフレームワークを用いて、スクリーニング条件を、ロジスティック損失の構造を活用できる取り扱いやすい最適化問題に変換する。
• 射影に基づく再定式化を用いて双対問題を簡素化し、最適な上界推定値を導出する。
• スクリーニングルールを、スパースなロジスティック回帰ソルバーの選択に依存せずに動作する前処理ステップとして統合する。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁正則化付きロジスティック回帰に対して、非ゼロ係数を持つ特徴量が誤って除外されないことを保証する安全なスクリーニングルールを開発できるか？
• RQ2 閉形式解が得られない状況下で、特徴量と双対最適解の内積の正確な上界を効率的に推定する方法は何か？
• RQ3 スクリーニングルールを、1回のデータ走査で実行可能であり、計算コストが無視できるほど小さいか？
• RQ4 SAFEルール、強力ルール、DOMEルールなどの既存手法と比較して、提案手法の有効性と効率性はどの程度か？
• RQ5 Sloresは、スパースなロジスティック回帰を解く前段階で、高次元データセットの次元をどの程度まで低減できるか？

主な発見

• Sloresは、状態の最良であるSAFEルールを上回り、特に正則化パラメータλ/λ_max > 0.5の高正則化領域において、はるかに多くの特徴量を除外する。
• 複数の高次元データセットにおいて、Sloresはスパースなロジスティック回帰の解法を最大10倍高速化し、計算効率が1桁向上することを示した。
• 強力ルールとは異なり、Sloresは証明可能な安全性を有する—解において非ゼロ係数を持つ特徴量を誤って除外しない。
• スクリーニングルールは1回のデータ走査で実行可能であり、計算コストが無視できるほど低いため、前処理ステップとして非常に効率的である。
• 上界推定のための閉形式解のおかげで、主なソルバーの選択に依存せず高速かつスケーラブルな実装が可能である。
• 前立腺がんデータ（132例、15,154特徴量）を含む実世界のデータセットを用いた広範な実験により、Sloresはさまざまな正則化パrameterに対して優れた除外比と頑健性を示した。