[論文レビュー] An efficient linearly convergent semismooth Netwon-CG augmented Lagrangian method for Lasso problems

Xudong Li, Defeng Sun+1 more|arXiv (Cornell University)|Jul 19, 2016

Sparse and Compressive Sensing Techniques参考文献 44被引用数 3

ひとこと要約

本稿では、大規模なlasso問題を効率的に解くために、半スムーズニュートン-CG法と増大ラグランジュ枠組みを組み合わせた新規アルゴリズムSsnalを提案する。lasso問題が示す区分的線形・二次的構造を活用することで、Ssnalはグローバル収束と局所的線形収束を達成し、現実のデータセットにおいて、速度とロバスト性の面で最先端のソルバーよりも優れている。

ABSTRACT

We develop a fast and robust algorithm for solving large-scale convex composite optimization models with an emphasis on the $\ell_1$-regularized least square regression (the Lasso) problems. Although there exist a large amount of solvers in the literature for Lasso problems, so far no solver can handle difficult real large scale regression problems. By relying on the piecewise linear-quadratic structure of the problems to realize the remarkable fast linear convergence property of the augmented Lagrangian algorithm, and by exploiting the superlinear convergence of the semismooth Newton-CG method, we are able to design a new algorithm, called {\sc Ssnal}, to efficiently solve the aforementioned difficult problems. Global convergence and local linear convergence results for {\sc Ssnal} are established. Numerical results, including the comparison between our approach and several state-of-the-art solvers, on real data sets, are presented to demonstrate the high efficiency and robustness of our proposed algorithm in solving large-scale difficult problems.

研究の動機と目的

• 既存のソルバーよりも効果的に処理できない大規模で困難なlasso問題を解くという課題に対処すること。
• lasso問題の構造的性質を活用して収束を高速化するアルゴリズムの開発。
• lasso問題を解く際に、グローバル収束と局所的線形収束レートの両方を達成すること。
• 現実の大規模回帰データセットにおいて、既存の最先端ソルバーよりも優れた性能を発揮すること。

提案手法

• 増大ラグランジュ法を用いて、lasso問題を構造が良好な部分問題に分解する。
• 部分問題を解くために半スムーズニュートン-CG法を適用し、その区分的線形・二次的性質を活かして超線形収束を実現する。
• 半スムーズニュートン-CGの高速な局所的収束性と、増大ラグランジュ枠組みのグローバル収束保証を統合する。
• 部分問題の解法にかかる計算コストを効率的に管理することで、大規模問題を処理できるように設計する。
• lasso問題の区分的線形・二次的構造を体系的に活用し、高速収束を可能にする。
• 理論的分析を通じて、グローバル収束性と局所的収束性の両方を厳密に確立する。

実験結果

リサーチクエスチョン

• RQ1 半スムーズニュートン-CG法と増大ラグランジュ法を組み合わせたハイブリッドアルゴリズムは、大規模lasso問題に対してより高速な収束を達成できるか？
• RQ2 lasso問題の区分的線形・二次的構造は、提案アルゴリズムの収束行動にどのように影響を与えるか？
• RQ3 提案手法は、現実の大規模回帰データセットにおいて、既存の最先端ソルバーよりも優れた性能を示せるか？
• RQ4 新規アルゴリズムに対して、グローバル収束と局所的収束の両方の理論的保証を確立できるか？
• RQ5 アルゴリズムは、多様な大規模問題インスタンスにわたり、ロバスト性と効率性を維持できるか？

主な発見

• Ssnalは、lasso問題を解く際にグローバル収束と局所的線形収束を達成する。
• 実世界の大規模回帰データセットにおいて、最先端のソルバーよりも優れた性能を示す。
• lasso問題の区分的線形・二次的構造のおかげで、増大ラグランジュ法の顕著な高速線形収束が実現できる。
• 半スムーズニュートン-CGと増大ラグランジュ枠組みの統合により、部分問題の解法で超線形収束が達成される。
• 数値実験の結果、Ssnalは困難な大規模lasso問題を解く際の高い効率性とロバスト性を確認できる。
• 既存のソルバーよりも処理できない大規模インスタンスに対しても効果的に対処でき、実用的なスケーラビリティを示している。