[論文レビュー] From safe screening rules to working sets for faster Lasso-type solvers

Mathurin Massias, Alexandre Gramfort+1 more|arXiv (Cornell University)|Mar 21, 2017

Sparse and Compressive Sensing Techniques参考文献 34被引用数 9

ひとこと要約

この論文は、Lasso型ソルバーのための新しいワーキングセット（WS）戦略を提案する。この戦略は、積極的なギャップセーフスクリーニングルールとガウス＝サザンウェル（GS）ブロック座標降下法を組み合わせ、収束を高速化する。グラム行列を事前に計算し、バッチ化されたGSルール（GS-rB）を用いることで、スパース学習問題において最先端の性能を達成し、標準的なソルバーと比較してLassoおよびマルチタスクLassoの両設定で顕著に優れている。

ABSTRACT

Convex sparsity-promoting regularizations are ubiquitous in modern statistical learning. By construction, they yield solutions with few non-zero coefficients, which correspond to saturated constraints in the dual optimization formulation. Working set (WS) strategies are generic optimization techniques that consist in solving simpler problems that only consider a subset of constraints, whose indices form the WS. Working set methods therefore involve two nested iterations: the outer loop corresponds to the definition of the WS and the inner loop calls a solver for the subproblems. For the Lasso estimator a WS is a set of features, while for a Group Lasso it refers to a set of groups. In practice, WS are generally small in this context so the associated feature Gram matrix can fit in memory. Here we show that the Gauss-Southwell rule (a greedy strategy for block coordinate descent techniques) leads to fast solvers in this case. Combined with a working set strategy based on an aggressive use of so-called Gap Safe screening rules, we propose a solver achieving state-of-the-art performance on sparse learning problems. Results are presented on Lasso and multi-task Lasso estimators.

研究の動機と目的

• 安全なスクリーニングルールとワーキングセット戦略を統合することで、Lasso型ソルバーの高速化を図ること。
• ガウス＝サザンウェルブロック座標降下法が、反復回数だけでなく実行時間の観点でも競争力を持つことを示すこと。
• ワーキングセットに小さなサブプロブレムを効率的に解くために、グラム行列を事前に計算することで、内部ソルバーの効率を高めること。
• 積極的な特徴の削除と最適なブロック選択により、LassoおよびマルチタスクLasso問題の両方でより速い収束を達成すること。
• 既存の最先端ソルバーを上回るスケーラブルでオープンソースの実装を提供すること。

提案手法

• ギャップセーフスクリーニングルールを用いて、双対問題において非活性な特徴（またはグループ）を特定し、永続的に除外することで、正しいスパース解への収束を保証する。
• ワーキングセット戦略を採用し、活性な特徴の集合を段階的に拡大しながら、各ステップで小さな部分問題を解く。
• 内部ソルバーとしてガウス＝サザンウェル（GS）ルールを用い、目的関数の減少量が最大となる座標ブロックを貪欲に選択する。
• GS-rBと呼ばれる変種では、最良の更新を求める探索を小さなサイクル的バッチのブロックに制限し、効率を向上させる。
• 現在のワーキングセットのためのグラム行列を事前に計算し、内部ループの計算を高速化する。
• 内部ループと外部ループの両方で適応的閾値を用いた双対ギャップ停止基準を用いる。

実験結果

リサーチクエスチョン

• RQ1 ギャップセーフスクリーニングルールは、Lasso型ソルバーの高速化を実現するワーキングセット戦略を構築するために効果的に利用可能か？
• RQ2 グラム行列の事前計算と組み合わせたガウス＝サザンウェルルールは、反復回数だけでなく実行時間の観点でも収束を高速化するか？
• RQ3 実際の応用において、バッチ化されたGSの変種であるGS-rBの性能は、サイクル的および他のBCD戦略と比較してどうか？
• RQ4 提案手法は、標準LassoおよびマルチタスクLasso問題の両方で最先端の性能を達成できるか？
• RQ5 ワーキングセットフレームワークにおける内部ソルバーの効率に、グラム行列の事前計算が与える影響は何か？

主な発見

• グラム行列の事前計算を組み合わせた提案されたGS-rBワーキングセットソルバーは、Leukemiaデータセット上で標準的なサイクル的BCDソルバーを上回る収束速度を示した。
• Leukemiaデータセットでは、0.3秒未満で双対ギャップが10−6未満に達し、scikit-learnおよびBlitzの実装を上回った。
• MEGデータ（n=302, p=7498, q=181）におけるマルチタスクLassoでは、サイクル的BCDよりも双対ギャップの減少が速く、6秒未満で収束した。
• ギャップセーフルールの使用により、初期段階で最大90％の特徴を削除でき、問題のサイズを顕著に縮小した。
• グラム行列の事前計算により、内部ループの計算が著しく高速化され、GSルールが実行時間の観点でも競争力を持つようになった。
• 内部部分問題において、双対ギャップが30％削減され、許容誤差閾値ϵ=0.3の条件下で全体の効率が向上した。