[論文レビュー] Two-Layer Feature Reduction for Sparse-Group Lasso via Decomposition of Convex Sets

Jie Wang, Jieping Ye|arXiv (Cornell University)|Oct 15, 2014

Systemic Lupus Erythematosus Research参考文献 26被引用数 17

ひとこと要約

本稿では、スパース・グループ・ラasso（SGL）のための二段階特徴削減手法TLFreを提案する。この手法は、双対可能集合を分解することで、非活性なグループと特徴を効率的に同定し、膨大な計算高速化を実現する。TLFreは、ℓ1およびℓ2正則化子を同時に扱える最初の手法であり、最小限のオーバーヘッドでSGLおよび非負ラassoの効率を数個のオーダー向上する。

ABSTRACT

Sparse-Group Lasso (SGL) has been shown to be a powerful regression technique for si-multaneously discovering group and within-group sparse patterns by using a combination of the `1 and `2 norms. However, in large-scale applications, the complexity of the regularizers entails great computational challenges. In this paper, we propose a novel two-layer feature reduction method (TLFre) for SGL via a decomposition of its dual feasible set. The two-layer reduction is able to quickly identify the inactive groups and the inactive features, respectively, which are guaranteed to be absent from the sparse representation and can be removed from the optimization. Existing feature reduction methods are only applicable for sparse models with one sparsity-inducing regularizer. To our best knowledge, TLFre is the first one that is capable of dealing with multiple sparsity-inducing regularizers. Moreover, TLFre has a very low com-putational cost and can be integrated with any existing solvers. We also develop a screening method—called DPC (decomposition of convex set)—for the nonnegative Lasso problem. Ex-periments on both synthetic and real data sets show that TLFre and DPC improve the efficiency of SGL and nonnegative Lasso by several orders of magnitude. 1

研究の動機と目的

• ℓ1およびℓ2ノルムを組み合わせた複雑な正則化子によるスパース・グループ・ラasso（SGL）の計算コストの高さを、大規模設定下で解消すること。
• 従来の特徴削減手法が単一のスパarsity誘導正則化子にしか適用できないという制限を克服すること。
• 複数の正則化子に一般化可能で、低コストな特徴削減フレームワークを構築し、特にSGLおよび非負ラassoに適用可能なものとすること。
• 最適化の前段階で非活性なグループおよび特徴を効率的にスクリーニングすることで、問題のサイズを縮小しつつ解の正確性を損なわないようにすること。
• 既存のSGLまたは非負ラassoソルバーのコアアルゴリズムを変更せずに、シームレスに統合可能であること。

提案手法

• SGLの双対可能集合の分解を用いて、非活性なグループと特徴を同定する二段階特徴削減（TLFre）戦略を提案する。
• 凸集合の分解を用いて、グループ内およびグループ間のスパarsityに対応する双対可能領域の成分に分離し、独立したスクリーニングを可能にする。
• 双対分解に基づくスクリーニングルールを適用し、最適解で必ずゼロとなることが保証される特徴およびグループを同定・削除する。
• 同様の双対分解原理を応用して、非負ラasso問題に特化した新しいスクリーニング手法DPC（凸集合の分解）を設計する。
• 計算コストが低く抑えられ、任意の既存のSGLまたは非負ラassoソルバーと互換性を持つように保証する。前処理は最小限に抑える。
• 双対空間におけるℓ1およびℓ2ノルムの幾何的性質を活用し、安全かつ効率的なタイトなスクリーニング条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 スパース・グループ・ラassoにおいて、非活性なグループと特徴を同時に同定できる二段階特徴削減フレームワークを設計可能か？
• RQ2 ℓ1およびℓ2ノルムといった複数のスパarsity誘導正則化子を備えたモデルに対しても、特徴スクリーニングを拡張可能か？
• RQ3 SGLの双対可能集合をどのように分解すれば、非活性な成分の効率的かつ安全なスクリーニングが可能になるか？
• RQ4 このような分解に基づくスクリーニング手法を大規模なSGLおよび非負ラasso問題に適用した際の計算的・実用的影響は何か？
• RQ5 提案手法は、既存のソルバーのコアアルゴリズムを変更せずに統合可能か？

主な発見

• TLFreは最適化の前段階で非活性なグループと特徴を削除することで、スパース・グループ・ラassoの計算効率を数個のオーダー向上させる。
• 本手法は、複数のスパarsity誘導正則化子を扱える最初の手法であり、単一ノルム手法の範囲をはるかに超える。
• 同じ分解原理を応用して導出した非負ラasso用のDPCスクリーニングルールも、解法時間の顕著な高速化を実現する。
• TLFreの計算コストは、SGL全体の計算に比べて無視できるほど低く、大規模応用において実用的である。
• 合成データおよび実データを用いた実験により、TLFreは問題のサイズと実行時間を著しく削減しながらも、解の正確性を維持することが確認された。
• スクリーニングルールは証明的に安全であり、削除された特徴およびグループが最適解で実際にゼロであることが保証される。