[論文レビュー] A Risk Ratio Comparison of $l_0$ and $l_1$ Penalized Regression

Kory D. Johnson, Dongyu Lin+3 more|arXiv (Cornell University)|Oct 21, 2015

Sparse and Compressive Sensing Techniques参考文献 25被引用数 15

ひとこと要約

本稿は、特徴選択における$l_0$および$l_1$正則化回帰を比較し、凸性のおかげで計算が効率的である一方で、$l_1$正則化は$l_0$正則化に比べて予測性能が任意に悪くなる可能性があることを示している。主な貢献は、ステップワイズ回帰による$l_0$の近似解が、正確な$l_1$解を上回ることが多く、$l_0$基準を用いて最良の$l_1$モデルを選択することで精度が向上することを示したことである。

ABSTRACT

There has been an explosion of interest in using $l_1$-regularization in place of $l_0$-regularization for feature selection. We present theoretical results showing that while $l_1$-penalized linear regression never outperforms $l_0$-regularization by more than a constant factor, in some cases using an $l_1$ penalty is infinitely worse than using an $l_0$ penalty. We also show that the "optimal" $l_1$ solutions are often inferior to $l_0$ solutions found using stepwise regression. We also compare algorithms for solving these two problems and show that although solutions can be found efficiently for the $l_1$ problem, the "optimal" $l_1$ solutions are often inferior to $l_0$ solutions found using greedy classic stepwise regression. Furthermore, we show that solutions obtained by solving the convex $l_1$ problem can be improved by selecting the best of the $l_1$ models (for different regularization penalties) by using an $l_0$ criterion. In other words, an approximate solution to the right problem can be better than the exact solution to the wrong problem.

研究の動機と目的

• 高次元特徴選択における$l_0$および$l_1$正則化回帰の予測リスク性能を形式的に分析・比較すること。
• $l_1$正則化が計算上の利点を持つ一方で、実際の応用ではなぜ$l_0$手法に比べて性能が劣ることが多いのかを調査すること。
• ステップワイズ回帰などのグリーディアルゴリズムで得られる$l_0$解よりも最適$l_1$解が常に優れているかどうかを評価すること。
• $l_1$最適化で候補モデルを生成し、$l_0$基準に基づいて最良のモデルを選択するハイブリッド手法を提案すること。
• 正確な問題（$l_0$）の近似解が、誤った問題（$l_1$）の正確解を上回ることもあることを実証すること。

提案手法

• 独立同一分布のガウスノイズを伴う正規線形モデル下での$l_0$および$l_1$推定子のミニマックスリスク比の理論的分析。
• $l_1$正則化が$l_0$に比べて任意に悪い予測性能を示す合成データ例の構築。
• NP困難な部分集合選択問題から導出された正確なカバー問題において、Lasso（$l_1$）とフォワードステップワイズ回帰（$l_0$に基づく）の経験的比較。
• LARSアルゴリズムを用いて$l_1$正則化パスを生成し、$l_0$正則化訓練誤差に基づいて最良のモデルを選択。
• 合成データおよび実世界データを用いたモデルスパarsityと予測リスクの評価。リスクは将来の観測値における期待予測誤差として測定。
• 高次元設定におけるグリーディな$l_0$ベース探索の有効性を正当化するための部分集合最適化の原則の適用。

実験結果

リサーチクエスチョン

• RQ1 最悪ケースにおいて、$l_1$正則化回帰の予測リスクは$l_0$正則化回帰に比べてどの程度悪化するか？
• RQ2 $l_1$正則化は、予測精度の観点から$l_0$正則化に比べて任意に悪いことがあるか？
• RQ3 最適$l_1$解は、ステップワイズ回帰などのグリーディ手法で得られる$l_0$解よりも常に優れているか？
• RQ4 $l_0$基準を用いて$l_1$モデルの中から選択することで、$l_1$手法の性能を向上させられるか？
• RQ5 どのような条件下で、$l_0$の近似解が、$l_1$の正確解を上回るのか？

主な発見

• $l_1$と$l_0$のリスク比は二次的に増大し、無限大に達する可能性があり、最悪ケースでは$l_1$が$l_0$に比べて無限に悪い可能性があることを示している。
• スパース系において、リスク比の上界$\sup_{\boldsymbol{\beta}} \frac{R(\boldsymbol{\beta}, \hat{\boldsymbol{\beta}}_{l_1})}{R(\boldsymbol{\beta}, \hat{\boldsymbol{\beta}}_{l_0})}$は無限大に近づくため、$l_1$が任意に悪い性能を示すことが示された。
• フォワードステップワイズ回帰（グリーディな$l_0$ベース手法）は、Lassoよりも常にスパースなモデルを生成し、その予測リスクも低かった。
• 正確なカバー問題において、ステップワイズ回帰はより少ないサブセット（例：$n=30$の場合、10 vs. 29）を選択し、二乗誤差の和が低く抑えられ、より優れたモデル選択がなされた。
• $l_0$正則化訓練誤差を最小化することで選択された最良の$l_1$モデルは、最適$l_1$解を常に上回り、$l_0$基準がモデル評価に有効であることを示した。
• 正しい問題（$l_0$）の近似解が、誤った問題（$l_1$）の正確解を上回ることもあり、問題の定式化の重要性が計算の正確さを上回ることを強調している。