[論文レビュー] Exact block-wise optimization in group lasso and sparse group lasso for linear regression

Rina Foygel, Mathias Drton|arXiv (Cornell University)|Oct 16, 2010

Statistical Methods and Inference参考文献 13被引用数 23

ひとこと要約

本稿では、線形回帰におけるグループlassoおよびスパースグループlassoにおける正確なブロックワイド最適化のための単一ラインサーチ（SLS）アルゴリズムを提案する。他の係数が固定された状態で、各グループの正確な最適係数更新を1回の1変数ラインサーチによって計算することにより、従来の手法よりも優れた計算効率を達成し、理論的保証と実験的検証を通じてより速い収束が示されている。

ABSTRACT

The group lasso is a penalized regression method, used in regression problems where the covariates are partitioned into groups to promote sparsity at the group level. Existing methods for finding the group lasso estimator either use gradient projection methods to update the entire coefficient vector simultaneously at each step, or update one group of coefficients at a time using an inexact line search to approximate the optimal value for the group of coefficients when all other groups' coefficients are fixed. We present a new method of computation for the group lasso in the linear regression case, the Single Line Search (SLS) algorithm, which operates by computing the exact optimal value for each group (when all other coefficients are fixed) with one univariate line search. We perform simulations demonstrating that the SLS algorithm is often more efficient than existing computational methods. We also extend the SLS algorithm to the sparse group lasso problem via the Signed Single Line Search (SSLS) algorithm, and give theoretical results to support both algorithms.

研究の動機と目的

• 正確なラインサーチや全ベクトル更新に依存する従来のグループlassoソルバーよりも計算効率が低いという問題に対処すること。
• 他のすべての係数が固定された状態で、各グループの正確な最適係数更新を計算する手法を開発すること。
• グループレベルおよび個別レベルのスパarsityを組み込んだ、スパースグループlasso問題への正確最適化フレームワークの拡張すること。
• 提案されたアルゴリズムの収束性および最適性に対する理論的裏付けを提供すること。
• シミュレーションを通じて、提案手法が標準的なソルバーよりも計算速度および収束速度で優れていることを示すこと。

提案手法

• 他のすべての係数が固定された状態で、1つの1変数ラインサーチを用いてグループ係数の正確な最適値を計算する、単一ラインサーチ（SLS）アルゴリズムを提案する。
• 各グループに対して、グループlasso目的関数の構造を活用して、1つの変数 r に関する1変数方程式を解くことで、最適なグループ係数ベクトルを特定する。
• グループおよび個別スパarsityを併せ持つスパースグループlassoに対しては、非ゼロ係数の符号情報を組み込んだ符号付き単一ラインサーチ（SSLS）アルゴリズムを導入し、一意の最小化点への収束を保証する。
• 特異値分解（SVD）を用いた係数ベクトルの変換により、グループ構造を分離し、最適化問題を1変数問題に簡略化する。
• 候補解の最適性を検証するため、符号の一貫性および部分勾配条件に基づく妥当性チェックを実施する。
• 理論的分析により、与えられた符号ベクトル s に対して、ラインサーチ方程式には最大で1つの解 r しか存在せず、正しい符号ベクトルに対応する解が一意の最小化点であることが示された。

実験結果

リサーチクエスチョン

• RQ1 1回の1変数ラインサーチで十分な、グループlassoの正確なブロックワイド最適化が、反復的近似手法ではなく達成可能か？
• RQ2 提案されたSLSアルゴリズムは、正確でないラインサーチを用いる従来のブロック座標降下法よりも速く収束し、より高い精度で動作するか？
• RQ3 正確な最適化フレームワークは、グループおよび個別スパarsityを併せ持つスパースグループlasso問題へ拡張可能か？
• RQ4 係数ベクトルが一意でない場合でも、適合値およびペナルティ項が一意に定まるか？
• RQ5 ラインサーチの解が目的関数の真のグローバル最小化点に対応するための理論的条件は何か？

主な発見

• SLSアルゴリズムは、反復的ラインサーチ手順を一切必要とせず、1回の1変数ラインサーチのみで正確な最適グループ係数更新を計算する。
• 実験的に、SLSアルゴリズムは従来の手法よりも効率的であることが示され、シミュレーションにおいて収束が速く、計算時間が短縮された。
• 符号付き単一ラインサーチ（SSLS）アルゴリズムにより、SLSフレームワークはスパースグループlassoへ拡張され、正確性と収束保証が維持された。
• 理論的分析により、正しい符号ベクトルに対してラインサーチ方程式には正確に1つの解が存在し、その解が一意のグローバル最小化点に対応することが確認された。
• 係数ベクトルが一意でない場合でも、適合値およびペナルティ項は一意に定まり、一貫したモデル予測が保証される。
• 本手法は、最適性の部分勾配条件を満たす解を保証し、妥当性チェックにより符号の一貫性および有界な部分勾配が確保される。