[論文レビュー] Fast-rate and optimistic-rate error bounds for L1-regularized regression

Rina Foygel, Nathan Srebro|arXiv (Cornell University)|Aug 1, 2011

Sparse and Compressive Sensing Techniques参考文献 9被引用数 3

ひとこと要約

本稿は、制限等方性条件を要件としない最小限の仮定の下で、ℓ₁正則化回帰に対する高速レートおよび楽観的レートの誤差バウンドを確立している。予測誤差が制限等方性条件を必要とせず、O(k log p / n)でバウンド可能であることを示している。主な貢献は、ノイズレベルに適応するきめ細かい過剰誤差バウンドであり、ノイズありおよびノイズなしの両状態で最適な標本量複雑性を達成している。

ABSTRACT

We consider the prediction error of linear regression with L1 regularization when the number of covariates p is large relative to the sample size n. When the model is k-sparse and well-specified, and restricted isometry or similar conditions hold, the excess squared-error in prediction can be bounded on the order of sigma^2*(k*log(p)/n), where sigma^2 is the noise variance. Although these conditions are close to necessary for accurate recovery of the true coefficient vector, it is possible to guarantee good predictive accuracy under much milder conditions, avoiding the restricted isometry condition, but only ensuring an excess error bound of order (k*log(p)/n)+sigma*\surd(k*log(p)/n). Here we show that this is indeed the best bound possible (up to logarithmic factors) without introducing stronger assumptions similar to restricted isometry.

研究の動機と目的

• 標本サイズnに対して説明変数の数pが大きい場合のℓ₁正則化回帰の予測誤差バウンドを導出すること。
• 制限等方性性質（RIP）よりも弱い仮定の下で誤差バウンドを確立し、説明変数の相関に関する強い条件を回避すること。
• 有界な固有値および有界性仮定の下で、RIPを仮定せずとも、過剰予測誤差がO(k log p / n)の高速レートに達することを示すこと。
• 目標となる過剰誤差εを達成するための標本量複雑性を特定し、ノイズあり状態ではO(ε⁻²)、ノイズなし状態ではO(ε⁻¹)に移行する楽観的レートを明らかにすること。
• ノイズが説明変数に依存する場合でも、バウンドが成り立つことを示し、i.i.d.ノイズ仮定を越えて一般化すること。

提案手法

• 係数ベクトルのℓ₁ノルムに制約を課したℓ₁正則化回帰（Lasso）を用い、調整パrameter λを用いた標準Lassoと同等である。
• Srebroら（2010）の結果に基づき、有界な説明変数および応答変数にのみ依存する過剰二乗誤差の高確率バウンドを用いる。
• 係数ベクトルの真のサポートJ*における最小固有値条件を導入し、すべての集合に対してRIPを要件としない同定可能性を保証する。
• カイ二乗尾部バウンドを用いた濃縮不等式を適用し、デザイン行列の残差項への射影の乖離を制御する。
• スパースな真のモデルを活用して、説明変数の部分集合におけるチェイニング議論を用いて、経験プロセスをバウンドする。
• スパースさk、ノイズ分散σ²、および目標誤差εの間の相互作用を分析することで、標本量複雑性バウンドを導出する。これにより、高速レートと楽観的レートの間の遷移が明らかになる。

実験結果

リサーチクエスチョン

• RQ1 制限等方性性質（RIP）を仮定しないで、ℓ₁正則化回帰に対して高速レートの予測誤差バウンドを達成できるか？
• RQ2 高次元スパース回帰において、与えられた過剰予測誤差εを達成するための最適な標本量複雑性は何か？
• RQ3 ノイズが従属的であるか、説明変数が弱く相関している場合、誤差バウンドはどのように振る舞うか？
• RQ4 ノイズが信号に対して小さい場合に、誤差レートがノイズレベルに適応し、より速いレートを達成できるか？
• RQ5 ℓ₁正則化の下で一貫した予測を可能にするために、デザイン行列に必要な最小限の仮定は何か？

主な発見

• 有界な説明変数および応答変数の下で、高確率的に過剰予測誤差がO((k log p)/(n / log³ n) + √((k log p)/(n / log³ n) · σ²))でバウンドされる。
• 制限等方性性質（RIP）を要件とせず、真のサポートにおける最小固有値条件にのみ依存する。
• 過剰誤差εを達成するための標本量複雑性はΘ((k log p)/(λ₁ε) · (σ² + ε)/ε · log³(k/(λ₁ε)))であり、ノイズレベルに依存する楽観的レートが明らかになる。
• ノイズなし状態（σ² = 0）では必要な標本サイズがO(ε⁻¹)に比例するが、ノイズあり状態ではO(ε⁻²)に比例し、楽観的レートと高速レートの間の遷移が反映される。
• バウンドは対数要因を除いてタイトであり、より速いレートを達成するにはRIPのような強い仮定が必要であることが示される。
• 応答変数と説明変数が有界で、デザイン行列がサブガウス分布または有界である限り、ノイズが説明変数に依存する場合でもバウンドが成り立つ。