[論文レビュー] Subset Selection with Shrinkage: Sparse Linear Modeling when the SNR is low

Rahul Mazumder, Peter Radchenko+1 more|arXiv (Cornell University)|Aug 10, 2017

Sparse and Compressive Sensing Techniques被引用数 9

ひとこと要約

本稿では、信号対雑音比（SNR）が低い状況下で、従来のベストサブセット選択法が過学習を起こすため、予測性能を向上させるために、ベストサブセット選択と縮小を組み合わせた正則化されたサブセット選択手法を提案する。この手法は、混合整数二次錐計画問題として定式化され、高ノイズ下でラッソ、リッジ回帰、および他のスパース手法よりもスパース性が高く、予測精度に優れるモデルを生成する。

ABSTRACT

We study a seemingly unexpected and relatively less understood overfitting aspect of a fundamental tool in sparse linear modeling - best subset selection, which minimizes the residual sum of squares subject to a constraint on the number of nonzero coefficients. While the best subset selection procedure is often perceived as the "gold standard" in sparse learning when the signal to noise ratio (SNR) is high, its predictive performance deteriorates when the SNR is low. In particular, it is outperformed by continuous shrinkage methods, such as ridge regression and the Lasso. We investigate the behavior of best subset selection in the high-noise regimes and propose an alternative approach based on a regularized version of the least-squares criterion. Our proposed estimators (a) mitigate, to a large extent, the poor predictive performance of best subset selection in the high-noise regimes; and (b) perform favorably, while generally delivering substantially sparser models, relative to the best predictive models available via ridge regression and the Lasso. We conduct an extensive theoretical analysis of the predictive properties of the proposed approach and provide justification for its superior predictive performance relative to best subset selection when the noise-level is high. Our estimators can be expressed as solutions to mixed integer second order conic optimization problems and, hence, are amenable to modern computational tools from mathematical optimization.

研究の動機と目的

• 信号対雑音比（SNR）が低い状況下で、理論的には魅力的であるものの、過学習を引き起こすため、ベストサブセット選択法の予測性能が著しく低下する問題に対処する。
• 高ノイズ下でベストサブセット選択法が失敗する理由を、特に係数の縮小がなく、特徴選択が不安定であることが原因として特定する。
• サブセット選択と縮小を統合した正則化推定量を開発し、高ノイズ環境下でのバイアス-バリアンスのトレードオフを改善する。
• 提案手法が、ラッソやリッジ回帰よりも顕著にスパースなモデルを生成しながらも、予測精度を維持または向上させることを示す。
• 提案手法が高ノイズレベル下でベストサブセット選択法よりも優れた性能を示す理論的根拠を提示する。

提案手法

• モデルサイズに対する $\ell_0$-ノルム制約と、係数に対する二次的縮小ペナルティを組み合わせた正則化最小二乗基準を提案する。
• 推定量を混合整数二次錐計画問題として定式化し、現代のMIOソルバを用いてグローバル最適化を可能にする。
• 二段階アプローチを採用する：まず $\ell_0$-制約付き最適化により特徴のサブセットを選択し、その後に選択された特徴の係数に縮小を適用する。
• ペナルティ関数に調整パラメータ $q$（例：$q=2$）を導入し、スパース性と予測精度の間の柔軟なトレードオフを可能にする。
• 混合整数最適化分野の進展を活用し、組み合わせ最適化問題を証明可能なグローバル最適解に到達可能とし、従来の計算的障壁を克服する。
• 現代のソルバと互換性のある最適化フレームワークを用いて実装し、実データおよび合成データセットへの実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 なぜベストサブセット選択法は、高SNR状況ではゴールドスタンダードとされる一方で、低SNR状況下では失敗するのか？
• RQ2 高ノイズ下で、係数の縮小が欠如していることが、ベストサブセット選択法における過学習にどの程度寄与しているのか？
• RQ3 縮小を組み込んだ正則化されたベストサブセット選択法は、ベストサブセット選択法およびラッソやリッジ回帰のような連続的縮小手法を上回る性能を示せるか？
• RQ4 提案手法は、Mnet、AEN、リラクストドラッソなどの最先端スパースモデルと比較して、スパース性と予測精度のバランスをどのようにとるのか？
• RQ5 高ノイズ・低SNR状況下で提案推定量の予測性能が向上する理論的性質は何か？

主な発見

• SNRが低い状況下で、提案手法は予測誤差の観点でベストサブセット選択法を著しく上回る。特に高ノイズ環境下で顕著な改善が見られる。
• 提案手法は、ラッソやリッジ回帰よりも顕著にスパースなモデルを生成しながらも、予測精度を維持または向上させる。
• 実データセット（Triazine, Riboflavin, Leukemia, Rat）において、提案手法はラッソ、リラクストドラッソ、Mnet、AEN、SSLよりも低い予測誤差と少ない非ゼロ係数を達成した。
• SNRが2未満に低下する際、提案手法の性能はSNRの変動に強く、一貫して予測精度が向上する。
• 理論的分析により、高ノイズ下で選択された係数の制御された縮小のおかげで、提案推定量がベストサブセット選択法よりも優れたバイアス-バリアンスのトレードオフを達成していることが示された。
• 実験的結果から、純粋な $\ell_0$ 選択は過度にスパースなモデルを生成する傾向にあり、過学習を引き起こす一方で、提案手法の $\ell_0 + \ell_2$-縮小アプローチは、スパース性と予測力の間でより良いバランスを実現していることが明らかになった。