[論文レビュー] Smoothing Proximal Gradient Method for General Structured Sparse Learning

Xi Chen, Qihang Lin+3 more|arXiv (Cornell University)|Feb 14, 2012

Sparse and Compressive Sensing Techniques参考文献 23被引用数 80

ひとこと要約

本稿では、重複グループlassoやグラフ誘導融合などの非分離ペナルティを伴う構造的スパース学習問題を、効率的に解くためにスムージングプロキシマル勾配法を提案する。ネステロフのスムージング技術を活用することで、部分勾配法よりも高速な収束性と内点法よりも優れたスケーラビリティを達成し、構造的スパarsityを伴う高次元回帰タスクにおいて優れた性能を示す。

ABSTRACT

We study the problem of learning high dimensional regression models regularized by a structured-sparsity-inducing penalty that encodes prior structural information on either input or output sides. We consider two widely adopted types of such penalties as our motivating examples: 1) overlapping group lasso penalty, based on the l1/l2 mixed-norm penalty, and 2) graph-guided fusion penalty. For both types of penalties, due to their non-separability, developing an efficient optimization method has remained a challenging problem. In this paper, we propose a general optimization approach, called smoothing proximal gradient method, which can solve the structured sparse regression problems with a smooth convex loss and a wide spectrum of structured-sparsity-inducing penalties. Our approach is based on a general smoothing technique of Nesterov. It achieves a convergence rate faster than the standard first-order method, subgradient method, and is much more scalable than the most widely used interior-point method. Numerical results are reported to demonstrate the efficiency and scalability of the proposed method.

研究の動機と目的

• 非分離構造的スパarsity誘導ペナルティで正則化された高次元回帰モデルの最適化という課題に対処すること。
• さまざまな構造的スパarsityペナルティに適用可能なスケーラブルで効率的な最適化フレームワークを開発すること。
• 部分勾配法（収束が遅い）および内点法（スケーラビリティが低い）の限界を克服すること。
• 入力変数または出力変数に事前構造情報が利用可能な場合に、効果的な学習を可能にすること。
• 滑らかで凸な損失関数と多様な構造的ペナルティに適応可能な汎用最適化手法を提供すること。

提案手法

• 非滑らかで構造的ペナルティを近似するためにネステロフのスムージング技術を採用し、勾配に基づく最適化を可能にする。
• スムージングとプロキシマル勾配降下法を組み合わせて、目的関数の非滑らか成分を処理する。
• 元の非滑らか問題を、効率的に解ける滑らかな部分問題の系列に変換する。
• ラインサーチ戦略を用いてステップサイズを動的に調整し、収束性と安定性を確保する。
• 重複グループlassoおよびグラフ誘導融合ペナルティの両方に適用可能であるようにアルゴリズムを設計する。
• 滑らかで凸な問題において、最適な収束レートO(1/k²)を達成し、標準的な部分勾配法を上回る。

実験結果

リサーチクエスチョン

• RQ1 非分離ペナルティを伴う構造的スパース学習に適した汎用最適化フレームワークを開発できるか？
• RQ2 非滑らかで構造的スパarsity問題に対して、1次最適化法の収束速度をどのように向上させられるか？
• RQ3 提案手法は内点法よりも優れたスケーラビリティを達成しながら、高い精度を維持できるか？
• RQ4 スムージングプロキシマル勾配法は、標準的な部分勾配法よりも収束速度および計算効率で優れているか？
• RQ5 この手法は、さまざまなタイプの構造的スパarsity誘導ペナルティにどの程度一般化可能か？

主な発見

• スムージングプロキシマル勾配法は、O(1/k²)の収束レートを達成し、標準的な部分勾配法のO(1/√k)よりも速い。
• 内点法よりも優れたスケーラビリティを示し、大規模な構造的スパース学習問題の効率的解法を可能にする。
• 数値実験では、重複グループlassoおよびグラフ誘導融合問題の両方において、部分勾配法に基づく手法と比べて著しく高速に収束することが示された。
• l1/l2混合ノルムやグラフ構造付き融合など、非分離ペナルティを効果的に処理し、高い精度を維持する。
• さまざまな問題サイズに対してロバストであり、高次元データセットでも一貫した性能を発揮する。
• 2つの動機付け例を超えて、広範な構造的スパarsity誘導ペナルティに適用可能な汎用性を持つ。