[論文レビュー] On the Peaking Phenomenon of the Lasso in Model Selection

Nicole Kraemer|ArXiv.org|Apr 28, 2009

Statistical Methods and Inference参考文献 4被引用数 7

ひとこと要約

この論文は、lars Rパッケージにおける罰則パrameterizationの欠陥により、n/p = 1 の比におけるLassoモデル選択の誤った性能ピークを特定する。交差検証による最小二乗ノルムを用いた正規化Lasso罰則を提案し、観測数対変数数比の範囲でテスト誤差の安定性を著しく向上させる。

ABSTRACT

I briefly report on some unexpected results that I obtained when optimizing the model parameters of the Lasso. In simulations with varying observations-to-variables ratio n=p, I typically observe a strong peak in the test error curve at the transition point n/p = 1. This peaking phenomenon is well-documented in scenarios that involve the inversion of the sample covariance matrix, and as I illustrate in this note, it is also the source of the peak for the Lasso. The key problem is the parametrization of the Lasso penalty (as e.g. in the current R package lars) and I present a solution in terms of a normalized Lasso parameter.

研究の動機と目的

• n/p = 1 の遷移点におけるLassoの予期しない性能低下の原因を調査すること。
• その根本的要因が、Lasso推定量とOLS推定量のℓ₁ノルム比に基づくLasso罰則パrameterizationにあることを特定すること。
• この誤ったパrameterizationが、n_cv = p の場合に一貫性のない交差検証結果をもたらすことを示すこと。
• さまざまなn/p比にわたるモデル選択の安定性を高めるために、罰則パラメータの正規化手法を提案すること。
• シミュレーションを通じて、テスト誤差の低減とより一貫した罰則選択を確認することで、解決策を検証すること。

提案手法

• p = 90の変数、20個の非ゼロ係数、信号対雑音比 = 4 を持つ合成データを用い、n = 10 から 200 の観測値を生成する。
• Rのcv.lars関数を用いて10分割交差検証を実施し、Lasso罰則パラメータ s = ||β_lasso||₁ / ||β_ols||₁ を選択する。
• n_cv ≈ p の場合に s_cv に生じるバイアスを補正するため、正規化された罰則パラメータ ŝ = (ℓ₁,ols_cv / ℓ₁,ols) × s_cv を導入する。
• 標準的なlarsベースのLassoと正規化されたバージョン（mylars）の間で、テスト誤差と罰則選択を比較する。
• 異なるnおよびn_cvにおけるOLSおよびLasso推定量のℓ₁ノルムの挙動を分析し、高次元設定におけるモールス＝ペンローズ逆行列の影響と不安定性を関連付ける。
• 再びシミュレーションを実行し、元の手法と正規化手法の間でテスト誤差と罰則曲線を比較することで、正規化の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 n/p = 1 の比でLassoが顕著なテスト誤差ピークを示すのは、なぜか？（一般的にはn/pが増加するほど性能が向上するのに。）
• RQ2 lars RパッケージにおけるLasso罰則の現在のパラメータ化が、このピーク現象にどのように寄与しているか？
• RQ3 n_cv = p の場合にOLS推定量の不安定性が、交差検証における影響をどのように及ぼすか？
• RQ4 交差検証に基づくOLSノルムを用いた罰則パラメータの正規化が、ピーク効果を緩和できるか？
• RQ5 提案された正規化は、さまざまなn/p比にわたるモデル選択をより安定的かつ正確にするか？

主な発見

• Lasso罰則のパラメータ化がLasso推定量とOLS推定量のℓ₁ノルム比に基づくため、n/p = 1 で顕著なテスト誤差ピークが発生する。
• ピークは、n_cv = p の場合にOLS推定量のℓ₁ノルムが極めて小さくなるため、交差検証で罰則パラメータ s が著しく低減されてしまうことに起因する。
• 正規化された罰則パラメータ ŝ = (ℓ₁,ols_cv / ℓ₁,ols) × s_cv は、このバイアスを効果的に是正し、テスト誤差ピークを完全に解消する。
• 正規化Lassoでは、n/pが増加するに従いテスト誤差が単調に減少し、理論的期待と整合的である。
• 罰則パラメータ s のピークは n = p ではなく、交差検証の各foldで n_cv = p となるときに発生するため、OLSの不安定性がモデル選択に与える役割が裏付けられる。
• 提案された正規化は計算的に効率的であり、係数の再推定を伴わずに、既存のlarsベースの実装に直接適用可能である。