[論文レビュー] Safe Screening With Variational Inequalities and Its Application to LASSO

Jun Liu, Zheng Zhao+2 more|arXiv (Cornell University)|Jul 29, 2013

Statistical Methods and Inference参考文献 16被引用数 66

ひとこと要約

本稿では、Lassoに対するより強力な最適性に基づくスクリーニング規則を導出するために変分不等式を活用する、Sasviと呼ばれる新しい安全スクリーニング手法を提案する。正確な双対問題の変分不等式条件を用いることで、従来の安全スクリーニング手法よりも効果的に非活性特徴を同定し、誤って活性特徴が削除される可能性がないことを保証しながら、顕著な計算高速化を達成する。

ABSTRACT

Sparse learning techniques have been routinely used for feature selection as the resulting model usually has a small number of non-zero entries. Safe screening, which eliminates the features that are guaranteed to have zero coefficients for a certain value of the regularization parameter, is a technique for improving the computational efficiency. Safe screening is gaining increasing attention since 1) solving sparse learning formulations usually has a high computational cost especially when the number of features is large and 2) one needs to try several regularization parameters to select a suitable model. In this paper, we propose an approach called "Sasvi" (Safe screening with variational inequalities). Sasvi makes use of the variational inequality that provides the sufficient and necessary optimality condition for the dual problem. Several existing approaches for Lasso screening can be casted as relaxed versions of the proposed Sasvi, thus Sasvi provides a stronger safe screening rule. We further study the monotone properties of Sasvi for Lasso, based on which a sure removal regularization parameter can be identified for each feature. Experimental results on both synthetic and real data sets are reported to demonstrate the effectiveness of the proposed Sasvi for Lasso screening.

研究の動機と目的

• 活性特徴が誤って削除されないことを保証する、Lassoのためのより効果的な安全スクリーニング規則の開発。
• 双対問題の十分かつ必要十分な最適性基準としての変分不等式条件を活用し、スクリーニング規則を強化すること。
• スクリーニング境界の単調性特性を用いて、各特徴に対して「確実な削除」に適した正則化パラメータを同定すること。
• 従来の安全スクリーニング規則（例：SAFE, DPP）およびヒューリスティック規則（例：ストロングルール）と比較して、計算効率および正確性の面で優れていることを実証すること。
• 同様の変分不等式原理を用いて、一般化されたスパース線形モデル（例：スパースロジスティック回帰）へのフレームワークの拡張。

提案手法

• Lasso最適化問題の双対問題を導出し、双対変数の正確な最適性基準として変分不等式条件を用いる。
• 直前の解からの最適性条件を用いて、より小さい正則化パラメータにおける双対変数の妥当集合を構築する。
• 妥当集合を用いて、各特徴jについて内積|⟨x_j, θ*⟩|の上界を推定し、その上界が1未満であれば安全にスクリーニング可能であることを保証する。
• 上界関数の単調性特性を確立し、各特徴に対して「確実な削除」に適した正則化パラメータを特定し、それ以降は特徴が非活性のまま保証されるようにする。
• Lassoパスに沿って反復的にスクリーニング規則を適用し、各ステップで実際に非活性であることが証明された特徴を除外する。
• 双対問題を導出し、同様の変分不等式に基づくスクリーニングフレームワークを適用することで、スパースロジスティック回帰への拡張を実現するが、実行可能性を確保するため近似を用いる。

実験結果

リサーチクエスチョン

• RQ1 従来の安全スクリーニング手法と比較して、変分不等式を用いることで、Lassoに対するより強力で、証明可能な正しさを持つスクリーニング規則を導出できるか？
• RQ2 提案手法Sasviは、SAFE や DPP のような緩いスクリーニング規則と比較して、特徴の削除能力においてどのように向上しているか？
• RQ3 上界推定における単調性の役割は何か？ また、各特徴に対して「確実な削除」に適した正則化パラメータを同定するために、どのように活用できるか？
• RQ4 特に補正ステップの必要がない点を踏まえると、Sasviはストロングルールのようなヒューリスティックスクリーニング規則と比較して、計算効率および正確性の面でどのように優れているか？
• RQ5 変分不等式に基づくスクリーニングフレームワークは、ロジスティック回帰などの他のスパース線形モデルへ一般化可能か？

主な発見

• Sasviは、合成データ（5,000特徴）において、スクリーニングなしの平均実行時間を101.55秒から2.76秒まで劇的に短縮し、SAFE や DPP よりも顕著に高速化を達成した。
• MNISTデータセットでは、実行時間を2,683.57秒から5.02秒まで短縮し、ベースラインソルバーよりも500倍以上の高速化を実現した。
• Sasviは、ヒューリスティック手法のストロングルールと同等の特徴削除率を達成したが、補正ステップやKKTチェックを一切不要とし、証明可能な正しさを持つという利点がある。
• 本手法は、各特徴に対して「確実な削除」に適した正則化パラメータを同定でき、解パスに沿って非活性特徴を早期かつ保証的に削除可能である。
• 実験結果から、Sasviは高いスクリーニング正確性を維持しながら、従来の安全スクリーニング規則よりも強い理論的保証を提供することが示された。
• スパースロジスティック回帰への拡張は原則的に可能であるが、上界推定がより複雑であり、実行可能性を確保するためには二次近似が必要となる可能性がある。