[論文レビュー] Scaled Sparse Linear Regression

Tingni Sun, Cun‐Hui Zhang|arXiv (Cornell University)|Apr 24, 2011

Statistical Methods and Inference参考文献 29被引用数 18

ひとこと要約

本稿では、平均残差平方和を用いて繰り返しノイズレベルを更新し、罰則をその推定ノイズレベルに比例してスケーリングすることで、高次元線形モデルにおける回帰係数とノイズ分散の同時推定を行うスケーリング・ラッソを提案する。やや弱い正則性条件下でも、予測、係数推定、ノイズレベルの一貫性に関してオラクル不等式を達成でき、変数の数が標本サイズを上回る場合でも有効である。

ABSTRACT

Scaled sparse linear regression jointly estimates the regression coefficients and noise level in a linear model. It chooses an equilibrium with a sparse regression method by iteratively estimating the noise level via the mean residual square and scaling the penalty in proportion to the estimated noise level. The iterative algorithm costs little beyond the computation of a path or grid of the sparse regression estimator for penalty levels above a proper threshold. For the scaled lasso, the algorithm is a gradient descent in a convex minimization of a penalized joint loss function for the regression coefficients and noise level. Under mild regularity conditions, we prove that the scaled lasso simultaneously yields an estimator for the noise level and an estimated coefficient vector satisfying certain oracle inequalities for prediction, the estimation of the noise level and the regression coefficients. These inequalities provide sufficient conditions for the consistency and asymptotic normality of the noise level estimator, including certain cases where the number of variables is of greater order than the sample size. Parallel results are provided for the least squares estimation after model selection by the scaled lasso. Numerical results demonstrate the superior performance of the proposed methods over an earlier proposal of joint convex minimization.

研究の動機と目的

• p ≫ n の高次元線形モデルにおいて、回帰係数とノイズレベルを同時に推定する課題に対処すること。
• 事前に指定された罰則レベルを必要とする交差検証や既存の罰則付き手法の限界を克服すること。
• 推定ノイズレベルに応じて罰則をスケーリングする計算効率の良い反復アルゴリズムを開発すること。
• 最小限の正則性条件下でノイズレベル推定子の理論的一貫性と漸近正規性を確立すること。
• モデル選択後の予測、係数推定、ノイズレベル推定に関してオラクル不等式を確立すること。

提案手法

• ノイズレベルを平均残差平方和を用いて推定し、罰則をその推定ノイズレベルに比例してスケーリングする反復アルゴリズムを提案する。
• ラッソの場合、本手法はHuberの共変損失関数にℓ₁罰則を加えたものと等価であり、凸性とグローバル収束性を保証する。
• アルゴリズムは罰則レベル λ = λ₀ × σ̂ を更新することで動作し、σ̂ は現在のノイズ推定値、λ₀ は基本罰則レベルである。
• 本手法は、しきい値を超えるスパース回帰推定子のパスまたはグリッドを介して実装され、標準的なスパース推定に追加で最小限の計算コストしか要しない。
• 理論的分析は、係数とノイズレベルの両方における結合損失関数の凸最小化に依拠しており、凸性により収束が保証される。
• 集中不等式とスパース固有値条件（κ₊, κ₋）を用いて、弱い正則性仮定のもとでオラクル不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 計算効率的かつ理論的根拠を持つ回帰係数とノイズ分散の同時推定手順を開発できるか？
• RQ2 推定ノイズレベルに比例して罰則をスケーリングすることで、固定罰則法に比べて推定精度が向上するか？
• RQ3 p > n の場合でも、ノイズレベル推定子の一貫性と漸近正規性が保証される条件は何か？
• RQ4 スケーリング・ラッソ枠組みのもとで、予測、係数推定、ノイズレベル推定に関してオラクル不等式を確立できるか？
• RQ5 有限標本におけるスケーリング・ラッソの性能は、結合凸最小化法や他の罰則付き手法と比べてどうか？

主な発見

• やや弱い正則性条件下でも、スケーリング・ラッソは予測、係数推定、ノイズレベル推定に関してオラクル不等式を達成する。
• 変数の数が標本サイズを上回る場合でも、ノイズレベル推定子は一貫的かつ漸近正規的である。
• 適切な固有値条件のもとで、推定モデル選択集合 Ŝ に対して |Ŝ ∖ S| < m が成り立つ。ここで m はスパarsityレベルである。
• 予測誤差の上限は、|Xβ̄ − Xβ*|₂ ≤ {σ*_{m−1,S} + 2√η*(λ̂,ξ)}√n の形を取り、η* が誤差率を制御する。
• ノイズレベル推定子 σ̂ は |σ̂ − σ*| ≤ {σ*_{m−1,S} + √η*(λ̂,ξ)}² を満たし、分散推定誤差に対してタイトなバインドを与える。
• 数値結果から、スケーリング・ラッソは以前の結合凸最小化アプローチやバイアス補正手法に比べて優れた性能を示す。