[論文レビュー] Extended Comparisons of Best Subset Selection, Forward Stepwise Selection, and the Lasso

Trevor Hastie, Robert Tibshirani+1 more|arXiv (Cornell University)|Jul 27, 2017

Statistical Methods and Inference参考文献 20被引用数 163

ひとこと要約

最適部分集合選択、前向き逐次選択、ラッソの比較を拡張し、方法間に一様な優越性はなく、緩和版のラッソを強力な性能として強調し、高SNRでのサブセット選択が最も正確、低SNRでのラッソがより良い。

ABSTRACT

In exciting new work, Bertsimas et al. (2016) showed that the classical best subset selection problem in regression modeling can be formulated as a mixed integer optimization (MIO) problem. Using recent advances in MIO algorithms, they demonstrated that best subset selection can now be solved at much larger problem sizes that what was thought possible in the statistics community. They presented empirical comparisons of best subset selection with other popular variable selection procedures, in particular, the lasso and forward stepwise selection. Surprisingly (to us), their simulations suggested that best subset selection consistently outperformed both methods in terms of prediction accuracy. Here we present an expanded set of simulations to shed more light on these comparisons. The summary is roughly as follows: (a) neither best subset selection nor the lasso uniformly dominate the other, with best subset selection generally performing better in high signal-to-noise (SNR) ratio regimes, and the lasso better in low SNR regimes; (b) best subset selection and forward stepwise perform quite similarly throughout; (c) the relaxed lasso (actually, a simplified version of the original relaxed estimator defined in Meinshausen, 2007) is the overall winner, performing just about as well as the lasso in low SNR scenarios, and as well as best subset selection in high SNR scenarios.

研究の動機と目的

• 最適部分集合選択、前向き逐次、ラッソが互いにどのような場面で上回るかを評価する。多様なSNR、予測子の相関、スパース性パターンの下で。
• 3つの手法の予測精度、スパース性、計算コストを、より広いシミュレーション設定の下で定量化する。
• 緩和ラッソの変種を導入・評価し、標準ラッソおよびサブセットベースの方法と性能を比較する。

提案手法

• 最適部分集合選択を混合整数最適化（MIO）問題として定式化し、高度なソルバー（例：Gurobi）を活用する。
• n, p, 稀疎度 s, SNR ν, および予測子相関 ρ を変化させた広範なシミュレーションを実施し、ラッソ、緩和ラッソ、前向き逐次、最適部分集合選択を比較する。
• 全手法のハイパーパラメータを外部検証で調整し、予測性能指標を報告する。
• 再現性のための手順とともに、MIOベースの最適部分集合ソルバーへアクセスできるRパッケージ（bestsubset）を実装する。
• 緩和ラッソ推定量 hat-beta^{relax}(λ, γ) = γ hat-beta^{lasso}(λ) + (1−γ) hat-beta^{LS}}(λ) を定義し、それの自由度と他の手法に対する攻撃性を分析する。
• 各手法の計算コストを時間制限で評価し、サブセット経路の MIOソルバーに対して k ごとに3分の制限を含む。

実験結果

リサーチクエスチョン

• RQ1 さまざまな SNR レジームと予測子相関において、最適部分集合選択、前向き逐次選択、ラッソは予測精度でどのように比較されるか？
• RQ2 緩和ラッソは縮小とスパース性の間の堅牢な中間解を提供するか、またその計算量は他の方法とどう比較されるか？
• RQ3 実践的な設定における、MIOベースの最適部分集合選択と高速な凸法/貪欲法の計算上のトレードオフは何か？
• RQ4 非凸の最適部分集合と前向き逐次法がラッソを上回る問題設定はどれか、一方でラッソが優位になるのはどの状況か？
• RQ5 先行研究で用いられた SNR 水準はどれほど現実的か、より広い SNR 範囲で結果はどう変わるか？

主な発見

Setting	BS (time)	FS (s)	Lasso (s)	RLasso (s)
low (n=100, p=10, s=5)	3.43	0.006	0.002	0.002
medium (n=500, p=100, s=5)	≈ 120 min	0.818	0.009	0.009
high-5 (n=50, p=1000, s=5)	≈ 126 min	0.137	0.011	0.011
high-10 (n=100, p=1000, s=10)	≈ 144 min	0.277	0.019	0.021

• 最適部分集合選択とラッソは一様に優劣があるわけではなく、最適部分集合は高SNRで優位になりやすく、ラッソは低SNRで優れている。
• 前向き逐次選択と最適部分集合選択は多くの設定で非常に似た性能を示す。
• 緩和ラッソは総じて最も良い場合が多く、低SNR領域でラッソと同等、高SNR領域で最適部分集合に近づく。
• 最適 subset および前向き逐次の攻撃的な性質（自由度が高い）が低い k での分散を招く一方、ラッソは収縮を提供し予測を安定化させる。
• SNR の現実的な評価は、実務的な状況で典型的な PVEs が控えめであり、過度に攻撃的な縮小よりも控えめな縮小を選ぶ傾向に影響する。