[論文レビュー] Fast Best Subset Selection: Coordinate Descent and Local Combinatorial Optimization Algorithms

Hussein Hazimeh, Rahul Mazumder|arXiv (Cornell University)|Mar 4, 2018

Sparse and Compressive Sensing Techniques被引用数 7

ひとこと要約

この論文は、$L_0L_q$-正則化最小二乘問題を解くための高速な座標降下法および局所的組合せ最適化アルゴリズムを提案し、glmnet や ncvreg といった既存のツールキットと比較して最大3倍の高速化を達成しながら、優れた変数選択性能と予測性能を維持している。本手法は最適性条件の階層を活用しており、大規模なスパース学習に適したオープンソースの L0Learn ツールキットとして実装されている。

ABSTRACT

The $L_0$-regularized least squares problem (a.k.a. best subsets) is central to sparse statistical learning and has attracted significant attention across the wider statistics, machine learning, and optimization communities. Recent work has shown that modern mixed integer optimization (MIO) solvers can be used to address small to moderate instances of this problem. In spite of the usefulness of $L_0$-based estimators and generic MIO solvers, there is a steep computational price to pay when compared to popular sparse learning algorithms (e.g., based on $L_1$ regularization). In this paper, we aim to push the frontiers of computation for a family of $L_0$-regularized problems with additional convex penalties. We propose a new hierarchy of necessary optimality conditions for these problems. We develop fast algorithms, based on coordinate descent and local combinatorial optimization, that are guaranteed to converge to solutions satisfying these optimality conditions. From a statistical viewpoint, an interesting story emerges. When the signal strength is high, our combinatorial optimization algorithms have an edge in challenging statistical settings. When the signal is lower, pure $L_0$ benefits from additional convex regularization. We empirically demonstrate that our family of $L_0$-based estimators can outperform the state-of-the-art sparse learning algorithms in terms of a combination of prediction, estimation, and variable selection metrics under various regimes (e.g., different signal strengths, feature correlations, number of samples and features). Our new open-source sparse learning toolkit L0Learn (available on CRAN and Github) reaches up to a three-fold speedup (with $p$ up to $10^6$) when compared to competing toolkits such as glmnet and ncvreg.

研究の動機と目的

• Lasso などの $L_1$-ベース手法と比較して著しく遅い、NP困難である $L_0$-正則化回帰の計算ボトル neck を解決する。
• 高次元問題（$p \sim 10^6$）にスケーリング可能な効率的なアルゴリズムを開発し、高い統計的性能を維持する。
• $L_0$推定量の優れた統計的性質と、大規模な設定における実用的な計算不能性のギャップを埋める。
• 座標降下法と局所的組合せ最適化を統合した包括的なフレームワークを提供し、高品質な解を得る。

提案手法

• $L_0L_q$-正則化回帰のための必要最適性条件の階層を提案し、高次の条件がより強い解の品質に対応する。
• 解空間を効率的に探索し、初期の高品質な解を得るための周期的座標降下アルゴリズム（アルゴリズム1）を設計。
• 小さなサポート変更を網羅的にテストすることで解を改善し、局所的最適性を保証する局所的組合せ最適化アルゴリズム（アルゴリズム3）を導入。
• 2段階戦略を採用：まず座標降下で良い初期点を取得し、その後局所探索でサポートを局所最適に精錬する。
• L0Learn の C++/R 実装において、問題固有の構造と効率的なデータ構造を活用し、顕著な高速化を達成。
• アルゴリズムを L0Learn に統合し、CRAN および GitHub で公開されているオープンソースの R/C++ ツールキットとして提供。$L_0L_1$ および $L_0L_2$ 正則化の両方をサポート。

実験結果

リサーチクエスチョン

• RQ1 座標降下法と局所的組合せ最適化を統合することで、大規模な $L_0L_q$-正則化回帰問題を効率的に解くことができ、高い統計的性能を維持できるか？
• RQ2 信号対雑音比や特徴相関の多様な状況下で、Lasso や MCP や Elastic Net などの最先端のスパース学習手法と比較して、予測、推定、変数選択の観点から $L_0L_q$ 推定量はどのように性能を発揮するか？
• RQ3 低信号および高信号の状態において、純粋な $L_0$ 正則化と $L_0L_q$ 正則化の間の計算的・統計的トレードオフはどのようなものか？
• RQ4 局所的組合せ最適化は、座標降下からの解をどの程度改善できるか？また、解の品質およびサポートスパarsityの観点から、グローバル MIO 解にどの程度近づけるか？
• RQ5 提案されたアルゴリズムは、$p \sim 10^6$ 個の特徴を持つ問題にスケーリング可能であり、競争力のある学習時間と汎化性能を維持できるか？

主な発見

• 提案されたアルゴリズムは、glmnet や ncvreg などの競合ツールキットと比較して最大3倍の高速化を達成し、大規模データセットでは学習時間を数分から数秒に短縮した。
• ガウス分布100万データ（$p = 10^6$, $n = 200$）において、L0Learn は $L_0L_2$ で16.5秒、$L_0L_1$ で16.7秒の学習時間を記録したのに対し、glmnet と ncvreg はそれぞれ22.5秒および36.5秒であった。
• L0Learn は顕著にスパースなモデルを生成した（例：ガウス100万データでは非ゼロ係数がわずか11個）が、競争力ある汎化平均二乗誤差（MSE）を維持した。
• 信号対雑音比が低い状況下では、$L_0L_2$ 正則化が Lasso や MCP よりも高い予測精度を示し、スパarsity と予測性能のトレードオフを大幅に改善した。
• アルゴリズム3（局所的組合せ最適化）の解は、解の品質においてグローバル MIO ソルバーやほぼ同等、あるいはそれに近い結果を達成したが、計算時間は著しく短縮された。
• 実験的結果から、$L_0L_q$ 推定量は、多様なデータ環境下で、予測、推定、変数選択の複数の指標において、最先端のスパース学習アルゴリズムを一貫して上回ることが示された。