[論文レビュー] A note relating ridge regression and OLS p-values to preconditioned sparse penalized regression

Karl Rohe|arXiv (Cornell University)|Nov 26, 2014

Sparse and Compressive Sensing Techniques参考文献 16被引用数 3

ひとこと要約

この論文は、正則化付きスパース回帰と古典的線形回帰推定量の間の理論的関係を確立する。Puffer正則化付きlassoが設計行列がフルランクのとき、OLS推定量のソフトしきい値処理と等価であることを示し、一般化されたPuffer正則化子が高次元設定におけるリッジ回帰とlassoを結びつける。これにより、lassoは前向き選択ではなく後ろ向き除去的手法に似た挙動を示すようになる。

ABSTRACT

When the design matrix has orthonormal columns, "soft thresholding" the ordinary least squares (OLS) solution produces the Lasso solution [Tibshirani, 1996]. If one uses the Puffer preconditioned Lasso [Jia and Rohe, 2012], then this result generalizes from orthonormal designs to full rank designs (Theorem 1). Theorem 2 refines the Puffer preconditioner to make the Lasso select the same model as removing the elements of the OLS solution with the largest p-values. Using a generalized Puffer preconditioner, Theorem 3 relates ridge regression to the preconditioned Lasso; this result is for the high dimensional setting, p > n. Where the standard Lasso is akin to forward selection [Efron et al., 2004], Theorems 1, 2, and 3 suggest that the preconditioned Lasso is more akin to backward elimination. These results hold for sparse penalties beyond l1; for a broad class of sparse and non-convex techniques (e.g. SCAD and MC+), the results hold for all local minima.

研究の動機と目的

• 正則化付きlassoと古典的OLSおよびリッジ回帰推定量の間の理論的同等性を確立すること。
• Puffer正則化子が、正規直交行列から一般のフルランク設計行列へのソフトしきい値処理の関係を一般化することを示すこと。
• 正則化子を精緻化し、lassoがOLS p値が最大の変数を削除するのと同一の変数選択をすることを可能にすること。
• 高次元設定（$p > n$）において、一般化されたPuffer正則化子を用いてリッジ回帰とlassoの同等性を拡張すること。
• 正則化付きlassoが、標準lassoが前向き選択に類似するのとは対照的に、後ろ向き除去に類似した挙動を示すことを示すこと。

提案手法

• 設計行列 $\mathbf{X}$ に Puffer 正則化子 $F = U D^{-1} U'$ を適用し、それによって $F\mathbf{X}$ が正規直交行列に変換されることを用いる。
• 正則化付きlassoとOLS推定量の関係を示すためのコア操作として、ソフトしきい値処理 $t_\lambda(\hat{\beta}^{\text{ols}})$ を用いる。
• OLS推定量の分散の不均一性を標準誤差補正によって反映する修正版Puffer正則化子 $\text{Puffer}_N$ を導入する。
• 高次元設定におけるリッジ回帰とlassoの関係を結ぶために、一般化されたPuffer正則化子 $\text{Puffer}_\tau$ を提案する。
• 正則化項（例：SCAD, MC+）の局所最小値を正則化付き下での分析を行い、それらが $\mathbf{X}$ の行空間内で近くに位置することを示す。
• 正則化付きlassoのパスが $\lambda \to 0$ のときリッジ解に収束することを示し、後ろ向き除去の挙動を示唆する。

実験結果

リサーチクエスチョン

• RQ1 ソフトしきい値処理とlassoの関係を、正規直交行列から一般のフルランク設計行列へ拡張できるか？
• RQ2 lassoがOLS p値が最大の変数を削除するのと同一の変数選択を達成するような正則化子を構築できるか？
• RQ3 高次元設定（$p > n$）において、正則化付き手法を用いてリッジ回帰とlassoを結びつけられるか？
• RQ4 正則化により、lassoが前向き選択に類似した手続きから、後ろ向き除去に類似した手続きに変化するか？
• RQ5 異なるスパース正則化項（例：SCAD, MC+）の局所最小値は、同じ正則化付きlasso枠組み下でどのように振る舞うか？

主な発見

• 定理1は、フルランクの $\mathbf{X}$ に対して $Lasso_\lambda(\text{Puffer}(\mathbf{X}, Y)) = t_\lambda(\hat{\beta}^{\text{ols}})$ が成り立つことを示し、正規直交設計行列に限らないTibshiraniの結果を一般化する。
• 定理2は、補正済み正則化子 $\text{Puffer}_N$ を導入し、lassoの解がOLS p値が最大の変数を削除する基準と一致するようにする。
• 定理3は、高次元設定（$p > n$）において、$\mathscr{P}_\tau(Lasso_\lambda(\text{Puffer}_\tau(\mathbf{X}, Y))) \to \hat{\beta}_{\text{ridge}}(\tau)$ が $\lambda \to 0$ のとき成り立つことを示し、正則化付きlassoとリッジ回帰の関係を確立する。
• 正則化付きlassoは、設計行列の直交化のおかげで、標準lassoとは異なり後ろ向き除去に類似した挙動を示す。
• 同じ正則化下で得られる異なるスパース正則化項（例：SCAD, MC+）の局所最小値は、$\mathbf{X}$ の行空間内で互いに $2\lambda$ 以内に位置し、高い安定性を示す。
• Puffer変換による直交化のおかげで、正則化付きlassoは、非表現条件（Irrepresentable Condition）を満たさなくても符号一貫性を達成する。