[論文レビュー] Fast Overlapping Group Lasso

Jun Liu, Jieping Ye|arXiv (Cornell University)|Sep 2, 2010

Statistical Methods and Inference参考文献 27被引用数 34

ひとこと要約

本稿では、滑らかな双対問題の解法を用いた新規な近似作用素計算により、加速勾配降下法を用いた重複グループlassoのための効率的アルゴリズムであるFoGLassoを提案する。ゼログループの早期同定とウォームスタートの活用により、遺伝子発現データにおいてSLassoと比較して最大70倍の高速化を達成し、スケーラビリティと収束性に優れていることが示された。

ABSTRACT

The group Lasso is an extension of the Lasso for feature selection on (predefined) non-overlapping groups of features. The non-overlapping group structure limits its applicability in practice. There have been several recent attempts to study a more general formulation, where groups of features are given, potentially with overlaps between the groups. The resulting optimization is, however, much more challenging to solve due to the group overlaps. In this paper, we consider the efficient optimization of the overlapping group Lasso penalized problem. We reveal several key properties of the proximal operator associated with the overlapping group Lasso, and compute the proximal operator by solving the smooth and convex dual problem, which allows the use of the gradient descent type of algorithms for the optimization. We have performed empirical evaluations using the breast cancer gene expression data set, which consists of 8,141 genes organized into (overlapping) gene sets. Experimental results demonstrate the efficiency and effectiveness of the proposed algorithm.

研究の動機と目的

• グループの重複により非重複グループlassoよりも複雑であるため、重複グループlassoを効率的に最適化する課題に対処する。
• 特に高次元の生物学的データにおいて、大規模な重複グループlasso問題に対してスケーラブルで効率的なアルゴリズムを開発する。
• 行列逆行列の計算が高価であり、グローバル収束保証がないという点で、SLassoなどの既存手法の限界を克服する。
• 遺伝子発現解析など、特徴が自然に重複するグループを形成する実世界の設定において、重複グループlassoの実用的応用を可能にする。

提案手法

• 重複グループlasso問題の解法において高速収束を実現するため、加速勾配降下法（AGD）を用いる。
• 滑らかで凸な双対問題を解くことで近似作用素を計算し、勾配ベースの最適化手法による効率的最適化を可能にする。
• Lemma 3を適用してゼログループを特定・除外することで、解くべき双対問題のサイズを顕著に削減する。
• より大きな正則化パラメータからの解を再利用することでウォームスタートを活用し、収束を加速する。
• 解の品質と終了精度を保証するため、双対ギャップを収束基準として用いる。
• 近似作用素の計算を、リプシッツ連続勾配を持つ双対最適化問題に再定式化し、高速解法に適した形に変換する。

実験結果

リサーチクエスチョン

• RQ1 解析的解が得られない場合に、重複グループlassoの近似作用素を効率的に計算できるか？
• RQ2 グループの重複をどのように活用して、グループlasso最適化における計算複雑度を低減できるか？
• RQ3 非滑らかな罰則を伴う重複グループlassoに、加速勾配降下法を効果的に適用できるか？
• RQ4 実世界のデータにおいて、SLassoなどの既存手法と比較して、提案手法の効率性とスケーラビリティはどのように異なるか？
• RQ5 高次元の生物学的データにおける分類性能に、重複グループ構造が与える影響は何か？

主な発見

• 2,000遺伝子における重複エッジを用いた場合、FoGLassoはSLassoと比較して最大70倍の高速化を達成した。1,000遺伝子では25倍の高速化を達成した。
• 50回の反復後、FoGLassoは80％のゼログループを同定し、双対最適化の有効問題サイズを顕著に削減した。
• 問題サイズの削減とウォームスタートの効果により、近似作用素を解く際の内側反復回数は時間経過とともに減少した。
• 経路に基づく重複パスウェイを用いた場合、FoGLassoとLassoは同等の分類性能を示したが、エッジに基づく重複エッジを用いた場合、FoGLassoがLassoを上回った。
• エッジベースのグループを用いたFoGLassoでは、パスウェイベースのグループと比較して、バランスエラー率が低く、分類性能が向上した。
• 双対ギャップは収束の監視および解の品質保証に効果的に用いられ、ギャップが10⁻¹⁰未満で終了した。