[論文レビュー] Lasso Screening Rules via Dual Polytope Projection

Jie Wang, Peter Wonka+1 more|arXiv (Cornell University)|Nov 16, 2012

Statistical Methods and Inference参考文献 42被引用数 130

ひとこと要約

本稿では、LassoおよびグループLasso回帰のためのデュアルポリトープ射影（DPP）スクリーニングルールを提案する。この手法は、デュアル問題の幾何的性質を活用し、凸ポリトープへの射影によって最適デュアル解を正確に推定する。本手法は、係数がゼロであると予測される非活性予測子を特定することで安全なスクリーニングを保証し、従来の最先端のルールと比較して計算効率を顕著に向上させる。

ABSTRACT

Lasso is a widely used regression technique to find sparse representations. When the dimension of the feature space and the number of samples are extremely large, solving the Lasso problem remains challenging. To improve the efficiency of solving large-scale Lasso problems, El Ghaoui and his colleagues have proposed the SAFE rules which are able to quickly identify the inactive predictors, i.e., predictors that have $0$ components in the solution vector. Then, the inactive predictors or features can be removed from the optimization problem to reduce its scale. By transforming the standard Lasso to its dual form, it can be shown that the inactive predictors include the set of inactive constraints on the optimal dual solution. In this paper, we propose an efficient and effective screening rule via Dual Polytope Projections (DPP), which is mainly based on the uniqueness and nonexpansiveness of the optimal dual solution due to the fact that the feasible set in the dual space is a convex and closed polytope. Moreover, we show that our screening rule can be extended to identify inactive groups in group Lasso. To the best of our knowledge, there is currently no "exact" screening rule for group Lasso. We have evaluated our screening rule using synthetic and real data sets. Results show that our rule is more effective in identifying inactive predictors than existing state-of-the-art screening rules for Lasso.

研究の動機と目的

• 大規模Lasso問題において、活性特徴が誤って除外されないことを保証する安全なスクリーニングルールの開発を目的とする。
• 特に凸ポリトープへの射影というデュアル問題の幾何的構造を活用し、デュアル解の推定を改善することを目的とする。
• 従来、正確な安全スクリーニングルールが存在しなかったグループLassoへのスクリーニングフレームワークの拡張を目的とする。
• 複数の正則化パラメータにわたる解パスの計算を効率的に行うための逐次スクリーニングルールの設計を目的とする。
• 特に高次元設定において、SAFE やストロングルールなどの既存手法よりも高いスクリーニング効果を達成することを目的とする。

提案手法

• Lasso問題をデュアル形式に変換し、最適デュアル解がスケーリングされた応答ベクトルを閉じた凸ポリトープに射影したものであると定式化する。
• 射影演算子の非拡大性および強非拡大性を用いて、正確なデュアル解推定を導出する。
• デュアル解推定を精緻化することで、より良好な非活性予測子の同定が可能となる、拡張DPP（EDPP）ルールを構築する。
• グループLassoに対しても、デュアル変数におけるグループ別制約を組み込むことで、同じ幾何的原理を適用する。
• デュアル空間におけるKKT条件を導出し、デュアル変数の射影のノルムに基づいてグループ係数がゼロとなる条件を特徴付ける。
• 以前の解を再利用することで、正則化パラメータのパスに沿ったスクリーニングを高速化する逐次スクリーニングバージョンを提案する。

実験結果

リサーチクエスチョン

• RQ1 Lassoスクリーニングのためのデュアル問題の幾何的性質を活用することで、より正確なデュアル解推定が可能になるか？
• RQ2 DPPフレームワークは、現在安全スクリーニングルールが存在しないグループLassoに拡張可能か？
• RQ3 DPPおよびEDPPの性能は、既存の安全ルールやヒューリスティックスクリーニングルールと比較して、スクリーニング効果と計算速度の面で優れているか？
• RQ4 DPPを用いた逐次スクリーニングは、正則化パラメータのグリッドに沿ってLassoを解く際の効率を向上させるか？
• RQ5 DPPルールは、誤って非活性特徴が除外されないという理論的保証をどのように達成しているか？

主な発見

• 提案されたDPPおよびEDPPスクリーニングルールは、特に高次元設定において、SAFE やストロングルールなどの既存の最先端手法よりも高いスクリーニング効果を達成する。
• EDPPは、より良好なデュアル解推定により、DPPよりも顕著に多くの非活性予測子を同定でき、計算の高速化が顕著に向上する。
• 本手法は、デュアル可能集合の幾何的構造に基づく、グループLassoに対する最初の正確な安全スクリーニングルールを提供する。
• DPPの逐次版は、正則化パラメータのパスに沿った効率的なスクリーニングを可能にし、複数の正則化パラメータでLassoを解く際の計算時間を削減する。
• 合成データおよび実データを用いた実験により、DPPベースのルールがスクリーニング比と実行時間の削減の両面で既存手法を上回ることが確認された。
• 理論的分析により、スクリーニングルールが安全であることが確認され、活性特徴が誤って除外されることはない。