[論文レビュー] Solving the OSCAR and SLOPE Models Using a Semismooth Newton-Based Augmented Lagrangian Method

Ziyan Luo, Defeng Sun+2 more|arXiv (Cornell University)|Mar 28, 2018

Sparse and Compressive Sensing Techniques被引用数 13

ひとこと要約

この論文は、高次元回帰におけるSLOPEおよびOSCARモデルを効率的に解くために、半スムーズニュートンに基づく増大ラグランジュ法（Newt-ALM）を提案する。増大ラグランジュ部分問題における一般化ヤコビ行列のスパースかつ低ランク構造を活用することで、APG や ADMM などの一次元法よりも優れた速度とロバスト性を達成し、特に n > m の大規模設定において顕著である。

ABSTRACT

The octagonal shrinkage and clustering algorithm for regression (OSCAR), equipped with the $\\ell_1$-norm and a pair-wise $\\ell_{\\infty}$-norm regularizer, is a useful tool for feature selection and grouping in high-dimensional data analysis. The computational challenge posed by OSCAR, for high dimensional and/or large sample size data, has not yet been well resolved due to the non-smoothness and inseparability of the regularizer involved. In this paper, we successfully resolve this numerical challenge by proposing a sparse semismooth Newton-based augmented Lagrangian method to solve the more general SLOPE (the sorted L-one penalized estimation) model. By appropriately exploiting the inherent sparse and low-rank property of the generalized Jacobian of the semismooth Newton system in the augmented Lagrangian subproblem, we show how the computational complexity can be substantially reduced. Our algorithm presents a notable advantage in the high-dimensional statistical regression settings. Numerical experiments are conducted on real data sets, and the results demonstrate that our algorithm is far superior, in both speed and robustness, than the existing state-of-the-art algorithms based on first-order iterative schemes, including the widely used accelerated proximal gradient (APG) method and the alternating direction method of multipliers (ADMM).

研究の動機と目的

• 既存の一次元法（例：APG、ADMM）が高次元 OSCAR および SLOPE モデルを解く際に計算的に非効率であるという問題に対処すること。
• スケーラブルな最適化を妨げる、OSCAR正則化子の非滑らかさおよび非分離性を克服すること。
• 半スムーズニュートン系の一般化ヤコビ行列に内在する低ランクおよびスパース構造を完全に活用する二階最適化法を開発すること。
• 実際の高次元データセットにおいて、最先端の一次元アルゴリズムと比較して顕著な速度およびロバスト性の向上を示すこと。

提案手法

• SLOPE 問題を減少重み付き順序付き ℓ1 範囲（DWSL1）正則化を有する凸最適化モデルとして定式化する。
• SLOPE モデルの双対定式化に増大ラグランジュ法（ALM）を適用し、効率的な双対更新を可能にする。
• ALM の部分問題を解くために半スムーズニュートン法を採用し、一般化ニュートン法の高速な局所収束性を活用する。
• 一般化ヤコビ行列行列の内在的なスパースおよび低ランク構造を活用して、計算複雑度を著しく低減する。
• DWSL1 範囲のプロキシマルマッピングを効率的に計算するために、プール・アベイラブル・バイオレーターズ・アルゴリズム（PAVA）を用いる。
• 収束性および実用的ロバスト性を向上させるために、ウォームスタート戦略および適応的ステップサイズを実装する。

実験結果

リサーチクエスチョン

• RQ1 二階最適化法は、APG や ADMM などの一次元法よりも、高次元 OSCAR および SLOPE モデルを解く際に優れた性能を示せるか？
• RQ2 OSCAR 正則化子の非滑らかで非分離な構造は、計算の高速化にどのように効果的に活用できるか？
• RQ3 一般化ヤコビ行列におけるスパースおよび低ランク構造は、半スムーズニュートン法の効率性にどのような影響を及えるか？
• RQ4 提案された Newt-ALM 法は、実世界の高次元データセットにおいてもロバスト性とスケーラビリティを維持できるか？

主な発見

• 提案された Newt-ALM 法は、実際の高次元データセットにおいて、APG や ADMM と比較して著しく高速な収束および高いロバスト性を達成した。
• アルゴリズムはマイクロアレイデータ上で 10,000 個の SLOPE 問題を約 70 分で解き、大規模問題へのスケーラビリティを示した。
• 一般化ヤコビ行列における二階スパースおよび低ランク構造を活用することで、計算コストを顕著に低減した。
• 数値結果から、問題次元が増加するにつれて Newt-ALM の計算的利点がますます顕著になることが示された。
• n ≫ m の高次元設定ですら、高速な局所収束性とロバストな性能を維持した。
• 双対定式化と半スムーズニュートン法の組み合わせにより、非分離な OSCAR 正則化子の効率的解法が可能になった。