[論文レビュー] GAP Safe screening rules for sparse multi-task and multi-class models

Eugène Ndiaye, Olivier Fercoq+2 more|arXiv (Cornell University)|Jun 11, 2015

Stochastic Gradient Optimization Techniques参考文献 24被引用数 16

ひとこと要約

本稿では、双対ギャップの計算を活用して最適化中に不要な特徴を安全に除外できる動的スクリーニング則であるGAP Safeスクリーニング則を、スパースなマルチタスクおよびマルチクラスモデルに導入する。この手法により、座標降下ソルバーの最適化において、特に正則化パrameterが小さい場合に、より早期かつより積極的な変数スクリーニングが可能となり、脳画像解析やテキスト分類タスクを含む高次元データセットにおいて、顕著な高速化が実証された。

ABSTRACT

High dimensional regression benefits from sparsity promoting regularizations. Screening rules leverage the known sparsity of the solution by ignoring some variables in the optimization, hence speeding up solvers. When the procedure is proven not to discard features wrongly the rules are said to be \emph{safe}. In this paper we derive new safe rules for generalized linear models regularized with $\ell_1$ and $\ell_1/\ell_2$ norms. The rules are based on duality gap computations and spherical safe regions whose diameters converge to zero. This allows to discard safely more variables, in particular for low regularization parameters. The GAP Safe rule can cope with any iterative solver and we illustrate its performance on coordinate descent for multi-task Lasso, binary and multinomial logistic regression, demonstrating significant speed ups on all tested datasets with respect to previous safe rules.

研究の動機と目的

• 高次元スパース学習における計算ボトル neck を解消するため、最適化ソルバーの高速化に寄与すること。
• 誤って不必要な特徴を除外するリスクを完全に排除できる安全なスクリーニング則の開発。
• 既存の安全スクリーニング手法を、ℓ1およびℓ1{ℓ2正則化を伴うマルチタスクおよびマルチクラスモデルに拡張すること。
• ソルバー実行中に繰り返し適用可能な動的・反復的スクリーニングを可能にすること。
• 一般化線形モデルにおける座標降下法の収束速度およびアクティブセット同定の向上。

提案手法

• ℓ1およびℓ1{ℓ2正則化付きモデルに対する安全スクリーニング則を導出するための統一的フレームワークを、双対ギャップの計算に基づいて提唱する。
• 双対解を中心とする球状の安全領域を定義し、双対ギャップが減少するにつれてその半径がゼロに収束するようにする。
• 双対ギャップを用いて双対変数のℓ2ノルムを上限付けし、収縮する安全球内にある双対成分を持つ特徴を安全に除外可能とする。
• 各特徴の双対ベクトルが安全領域内にあるかどうかをチェックすることで、任意の反復的ソルバー（特に座標降下法）にスクリーニング則を統合する。
• 双対解の近似に依存せず、正確な双対ギャップ推定に依存することで安全性を保証する。
• 最適化プロセス全体を通してスクリーニング則を動的に適用し、アルゴリズムの収束に伴いスクリーニング効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ℓ1およびℓ1{ℓ2正則化を伴うマルチタスクおよびマルチクラスモデルに、双対ギャップに基づくスクリーニング則を一般化できるか？
• RQ2 反復的最適化プロセス中に、安全スクリーニング則をどのように動的かつ適応的に適用できるか？
• RQ3 静的または逐次的ルールと比較して、双対ギャップに基づく安全領域は、変数スクリーニングをどの程度改善できるか？
• RQ4 提案手法は、高次元設定において、収束速度の向上と計算時間の短縮を達成できるか？
• RQ5 既存の座標降下ソルバーのコアアルゴリズムを変更せずに、このフレームワークを効率的に統合できるか？

主な発見

• GAP Safe則は、計算時間に顕著な高速化をもたらした。MEG/EEGデータにおいて、非スクリーニングおよび従来の動的ルールと比較して、マルチタスクLassoパスの解法時間を最大70％短縮した。
• Leukemiaデータセットでは、動的GAP Safe則が逐次的スクリーニングと比較して50％以上の計算時間を短縮し、すべてのλ値でより速い収束を示した。
• News20データセットにおけるℓ1{ℓ2多項ロジスティック回帰では、スクリーニングなしで1,353秒かかっていた計算時間が、GAP Safeを適用することで485秒にまで短縮され、64％の高速化を達成した。
• GAP Safeでは、反復回数の増加に伴い、アクティブ変数の割合がより速く減少した。これは、安全領域の収束と、スクリーニング能力の向上を示している。
• 特に正則化パrameterが小さい場合に顕著な効果を示し、静的および逐次的スクリーニング則を上回る、より積極的かつ信頼性の高い特徴除外を可能にした。
• 本フレームワークは、密度の高い（脳画像解析）および疎な（テキスト分類）データタイプにわたり、堅牢に機能し、広範な適用可能性を確認した。