[論文レビュー] A note on the group lasso and a sparse group lasso

Jerome H. Friedman, Trevor Hastie+1 more|arXiv (Cornell University)|Jan 5, 2010

Statistical Methods and Inference参考文献 5被引用数 656

ひとこと要約

この論文では、L1正則化とグループラッソ正則化を組み合わせた凸最適化手法、スパースグループラッソを導入している。この手法は、グループレベルおよび個々の特徴量レベルの両方でスパarsityを達成する。非正規直交設計行列に対しても適用可能な効率的な座標降下法を提案し、グループ予測子を伴う高次元線形モデルにおける有効な変数選択を可能にする。

ABSTRACT

We consider the group lasso penalty for the linear model. We note that the standard algorithm for solving the problem assumes that the model matrices in each group are orthonormal. Here we consider a more general penalty that blends the lasso (L1) with the group lasso ("two-norm"). This penalty yields solutions that are sparse at both the group and individual feature levels. We derive an efficient algorithm for the resulting convex problem based on coordinate descent. This algorithm can also be used to solve the general form of the group lasso, with non-orthonormal model matrices.

研究の動機と目的

• 標準ラッソのグループラッソの限界、すなわちグループ内でのスパarsityを誘導しないことに対処するため、全グループと個々の予測子の両方を選択する正則化を提案する。
• 各グループ内の予測子が正規直交でなければならないという、既存のグループラッソアルゴリズムの制限的仮定を克服する。
• 非正規直交設計行列を伴う標準グループラッソに一般化可能な、スパースグループラッソ問題を解く計算的に効率的なアルゴリズムを開発する。
• 高次元線形モデルにおいて、グループレベルおよび個々のレベルの両方でスパース選択を可能にする統一的な計算フレームワークを提供する。

提案手法

• スパースグループラッソ基準の提案：二乗残差の和に加え、グループラッソ（グループごとのL2ノルム）とラッソ（個々の係数のL1ノルム）の組み合わせ正則化を加える。
• ブロック座標降下を用いて目的関数を最適化し、他のグループを固定した上で1つのグループずつ更新する。
• 各グループについて、グループ全体をゼロにするかを、グループごとの部分勾配のノルムに基づく条件を評価することで確認する。ゼロでない場合、個々の係数の更新に進む。
• グループ内の個々の係数について、勾配がラッソ正則化の閾値を超える場合には、1次元最適化によるソフトスリッピングを適用する。
• 部分勾配変数の上での2次関数の最小化に基づく条件を導出し、全グループをゼロに設定すべきかどうかを決定する。
• このアルゴリズムは、非正規直交設計行列を伴うスパースグループラッソおよび標準グループラッソの両方に対して適用可能である。

実験結果

リサーチクエスチョン

• RQ1 高次元線形モデルにおいて、グループレベルおよび個々の特徴量レベルの両方でスパarsityを誘導する正則化を構築できるか？
• RQ2 グループラッソを、各グループ内の予測子行列が正規直交でない場合でも、解の正確性を損なわず一般化できるか？
• RQ3 混合L1およびグループL2正則化を伴うこの凸問題を解くために、効率的な最適化アルゴリズムは何か？
• RQ4 グループレベルと個々のレベルの両方でスパarsityが求められる状況において、提案手法は標準ラッソおよびグループラッソを上回る変数選択の正確性を示せるか？
• RQ5 このアルゴリズムは、グループ内に相関のある予測子を含む任意の設計行列に対しても適応可能か？

主な発見

• スパースグループラッソ基準は、グループレベルおよび個々の特徴量レベルの両方でスパarsityを効果的に誘導し、全グループとグループ内個々の予測子の選択を可能にする。
• 提案された座標降下アルゴリズムは、スパースグループラッソ問題を効率的に解き、非正規直交設計行列を伴う標準グループラッソにも一般化可能である。
• 100個の予測子（10グループ、各10個）を含むシミュレーションにおいて、スパースグループラッソはラッソおよびグループラッソよりも、グループと個々の係数の両方で低い誤分類率を達成した。
• この手法は真のグループ構造と非ゼロ係数を正しく特定し、ラッソやグループラッソ単独よりも、誤分類されたグループ数および個々の特徴量数が顕著に少なかった。
• 予測子のグループ内相関がある場合でも、アルゴリズムは計算効率と収束性を維持するが、正規直交化に基づくアプローチとは異なり、解が歪められることがある。
• 理論的分析により、目的関数の凸性と個々の係数に対する正確なラインサーチを用いたブロック座標降下の組み合わせにより、アルゴリズムがグローバル最小値に収束することが確認された。