[論文レビュー] Gap Safe screening rules for sparsity enforcing penalties

Eugène Ndiaye, Olivier Fercoq+2 more|arXiv (Cornell University)|Nov 17, 2016

Sparse and Compressive Sensing Techniques参考文献 41被引用数 11

ひとこと要約

本稿では、Lasso、マルチタスクLasso、スパースグループLassoなどのスパarsityを促進するモデルの最適化中に不要な特徴量を安全に除外するための統一的で、双対ギャップに基づくフレームワーク「Gap Safeスクリーニングルール」を導入する。各イテレーションで双対ギャップを計算することで、動的かつ安全な変数スクリーニングが可能となり、多様な高次元学習タスクにおいて座標降下ソルバーの高速化が顕著に達成される。従来の安全ルールや強力ルールに比べ、特に正則化パrameterが小さい場合に速度と頑健性の面で優れている。

ABSTRACT

In high dimensional regression settings, sparsity enforcing penalties have proved useful to regularize the data-fitting term. A recently introduced technique called screening rules propose to ignore some variables in the optimization leveraging the expected sparsity of the solutions and consequently leading to faster solvers. When the procedure is guaranteed not to discard variables wrongly the rules are said to be safe. In this work, we propose a unifying framework for generalized linear models regularized with standard sparsity enforcing penalties such as $\ell_1$ or $\ell_1/\ell_2$ norms. Our technique allows to discard safely more variables than previously considered safe rules, particularly for low regularization parameters. Our proposed Gap Safe rules (so called because they rely on duality gap computation) can cope with any iterative solver but are particularly well suited to (block) coordinate descent methods. Applied to many standard learning tasks, Lasso, Sparse-Group Lasso, multi-task Lasso, binary and multinomial logistic regression, etc., we report significant speed-ups compared to previously proposed safe rules on all tested data sets.

研究の動機と目的

• スパarsityを促進するモデルの最適化における計算ボトル neck を解消するため、安全な特徴量削除を用いて反復的ソルバーの高速化を図ること。
• 実際の応用では得られない正確な双対解を必要とする従来の安全ルールの制限を克服すること。
• 一様なフレームワークとして、順次的および動的スクリーニング戦略を、スパarsityを促進する凸問題の広いクラスに適用可能に統合すること。
• 最適解において係数がゼロであることが保証される変数を動的に除外することで、収束の高速化とアクティブセット同定を実現すること。
• サポート削減が自然に実現可能な反復的ソルバー（例：（ブロック）座標降下）に、スクリーニングルールをシームレスに統合できること。

提案手法

• 反復的ソルバーの各ステップで、最適解における係数がゼロであると予測される変数を動的に同定する双対ギャップに基づくスクリーニング基準を提案する。
• 双対ギャップを用いて最適目的関数値の下界を計算し、その下界を超える双対不実行性を示す特徴量を安全に除外可能であることを保証する。
• スクリーニングルールを（ブロック）座標降下ソルバーに統合し、収束に影響を与えることなく、非活性な座標の効率的削除を可能にする。
• 中間イテレートと以前の正則化パラメータからの双対ギャップ推定値を活用することで、順次的および動的スクリーニングを統一する。
• 標準的なスパarsityペナルティ（例：ℓ1、ℓ1{ℓ2）を備えた一般化線形モデルにこのフレームワークを適用し、理論的整合性と実用的効率性を両立する。
• 前回の解とスクリーニング結果を再利用するアクティブセットおよびウォームスタート戦略を統合し、収束のさらなる高速化を実現する。

実験結果

リサーチクエスチョン

• RQ1 Lasso、マルチタスクLasso、スパースグループLassoなどの多様なモデルに適用可能な、スパarsity正則化学習問題において安全に特徴量を除外できる統一的フレームワークを構築できるか？
• RQ2 最適解の事前知識がなくても、双対ギャップの計算を活用して反復最適化中に動的かつ安全に変数を除外できるか？
• RQ3 特に正則化パrameterが小さい領域において、Gap Safeルールは従来の安全ルールや強力ルールに比べて、計算速度をどの程度向上させるか？
• RQ4 提案手法は、サポート削減が自然に実現可能な（ブロック）座標降下ソルバーにシームレスに統合可能か？
• RQ5 アクティブセットおよびウォームスタート戦略と組み合わせたGap Safeルールが、実世界の高次元データセットにおけるソルバー性能をどの程度向上させるか？

主な発見

• 提案されたGap Safeルールは、Leukemia、MEG/EEG、気象データを含む全テストデータセットで、従来の安全ルールに比べて最大3倍の高速化を達成した。
• Gap Safeルールは、特に正則化パラメータが小さい領域で、従来の安全ルールよりも積極的であり、理論的整合性を保ちつつより多くの変数を除外した。
• Leukemiaデータセットにおいて、ℓ1正則化ロジスティック回帰の全動的スクリーニングで、Gap Safeルールを用いることで、標準的な安全ルールに比べて計算時間を2.5倍短縮した。
• 気象データにおけるスパースグループLassoの適用では、100個の対数スケールの正則化パラメータを用いた場合に、収束時間を3倍高速化し、アクティブセット同定の精度も向上させた。
• Gap Safeスクリーニングとアクティブウォームスタートの統合により、特にパスアルゴリズムにおいて性能が向上し、全テストモデルで収束までの時間を短縮した。
• 本フレームワークは回帰および分類タスク（二値および多項ロジスティック回帰を含む）にわたりスクリーニングを統一し、広範な適用可能性と頑健性を実証した。