[論文レビュー] SparseStep: Approximating the Counting Norm for Sparse Regularization

Gerrit J. J. van den Burg, Patrick J. F. Groenen+1 more|arXiv (Cornell University)|Jan 24, 2017

Sparse and Compressive Sensing Techniques参考文献 16被引用数 4

ひとこと要約

SparseStepは、非凸な$β_0$数え上げノルムを反復的精錬によって近似する画期的なアルゴリズムを提案し、縮小バイアスを回避する。反復的マジョライゼーションを用いて、バイアスのないスパース解に収束し、180回のシミュレーションにおいて、Lasso、SCAD、MC+と比較してモデル適合度、予測精度、スパース回復性能で優れる。

ABSTRACT

The SparseStep algorithm is presented for the estimation of a sparse parameter vector in the linear regression problem. The algorithm works by adding an approximation of the exact counting norm as a constraint on the model parameters and iteratively strengthening this approximation to arrive at a sparse solution. Theoretical analysis of the penalty function shows that the estimator yields unbiased estimates of the parameter vector. An iterative majorization algorithm is derived which has a straightforward implementation reminiscent of ridge regression. In addition, the SparseStep algorithm is compared with similar methods through a rigorous simulation study which shows it often outperforms existing methods in both model fit and prediction accuracy.

研究の動機と目的

• Lassoのような従来のスパース正則化手法に見られる、大きな係数をゼロに偏らせる縮小バイアスの制限を解消すること。
• 非ゼロ係数を縮小せずにスパース性を達成する手法の開発。これにより、真の効果サイズが保持される。
• NP困難であり高次元データでは実行不可能なベストサブセット選択の計算効率の良い代替手法の提供。
• SCAD、MC+のような既存の非凸ペナルティを、バイアスのない推定と強力なスパース性・予測性能の両立によって超えること。
• シミュレーションを通じて、本手法がパrameter推定および予測の両面で、既存手法を一貫して上回ることを示すこと。

提案手法

• 非ゼロ係数の数を表す正確な$β_0$数え上げノルムを、区分的線形かつ凸な上界の系列によって近似する。
• 真の目的関数を上回る補助損失関数を最小化する反復的マジョライゼーションを採用し、単調収束を保証する。
• 各反復で、現在の推定値の周囲に、数え上げノルムの近似を強化するために区分的線形上界をタイトに調整する。
• アルゴリズムは重み付きリッジ回帰の系列として実装され、計算効率が高く、コード作成も容易である。
• 正則化パラメータ$λ$の範囲で性能を評価できるパスアルゴリズムを用いることで、交差検証が可能になる。
• ペナルティ関数はゼロで連続的かつ微分可能であり、Lassoとは異なり、収束性の観点で優れた挙動を示す。

実験結果

リサーチクエスチョン

• RQ1 反復的近似による$β_0$数え上げノルムは、縮小バイアスなしにスパース線形回帰でバイアスのない推定を達成できるか？
• RQ2 SparseStepのパrameter推定精度および予測精度は、Lasso、SCAD、MC+と比較してどの程度か？
• RQ3 $β_0$ノルムの近似に反復的マジョライゼーションフレームワークを用いることで、既存手法と比較して収束が速く、スパース回復性能が優れるか？
• RQ4 SparseStepの計算効率は、Lasso、SCAD、MC+のようなパスベース手法と比較してどの程度か？
• RQ5 多様なデータ設定において、SparseStepと他の非凸ペナルティとの間に顕著な性能差があるか？

主な発見

• SparseStepは、パrameter推定（$β$のMSE）および予測外の精度（$ˆ{y}$のMSE）において、OLSおよびリッジ回帰を有意に上回り、F検定でp < 0.0001であった。
• 平均して、SparseStepは180個のデータセットのうち30個で最高のスパースヒットレートを達成し、MC+（26）と比較して非ゼロ係数を正しく同定する能力に優れた。
• 予測精度においてSparseStepが最悪の性能を示したのはたった6データセットにとどまり、MC+（32）やOLS（52）と比較して、高いロバスト性を示した。
• $λ$ごとの平均計算時間は1回のOLSフィットと同等であり、SCADやMC+と比較して著しく高速であった（p < 0.05）。
• パrameter推定や予測において、SparseStepとSCAD/MC+との間に統計的に有意な差は認められず、大規模なスケールでも同等の性能を示した。
• ペナルティ関数の非ゼロ係数における挙動の理論的分析により、縮小を回避することで、バイアスのない推定が達成されていることが確認された。