[論文レビュー] No penalty no tears: Least squares in high-dimensional linear models

Xiangyu Wang, David B. Dunson+1 more|arXiv (Cornell University)|Jun 7, 2015

Statistical Methods and Inference参考文献 26被引用数 8

ひとこと要約

本稿では、最小二乗法とハードスレッショーディングを組み合わせた2つの新しい3段階のアルゴリズムを提案する。これらの手法は、$ p > n $ の高次元線形モデルを一貫して推定でき、従来の正則化手法よりも弱い条件下でもモデル選択と推定の一貫性を達成する。正則化ペナルティを回避することで、弱いスパarsityと有界誤差仮定の下でも、強力な理論的保証を持つ効率的で並列化可能な計算が可能となる。

ABSTRACT

Ordinary least squares (OLS) is the default method for fitting linear models, but is not applicable for problems with dimensionality larger than the sample size. For these problems, we advocate the use of a generalized version of OLS motivated by ridge regression, and propose two novel three-step algorithms involving least squares fitting and hard thresholding. The algorithms are methodologically simple to understand intuitively, computationally easy to implement efficiently, and theoretically appealing for choosing models consistently. Numerical exercises comparing our methods with penalization-based approaches in simulations and data analyses illustrate the great potential of the proposed algorithms.

研究の動機と目的

• 高次元設定（$ p > n $）において、lassoのような正則化手法の限界、特に強い正則性条件と計算負荷の問題を解決すること。
• 一貫性と解釈可能性を保ちながら、高次元スパース線形モデルに適用可能な一般化された通常最小二乗（OLS）フレームワークを構築すること。
• 凸または非凸ペナルティに依存せずに、最小二乗法とハードスレッショーディングのみを用いて、モデル選択と推定の一貫性を達成すること。
• 正則化に基づく手法の代替として、計算効率が高く並列化可能で、強力な理論的保証を持つ代替手法を提供すること。

提案手法

• 高次元設定における推定の安定化を目的として、リッジ回帰を基盤とする一般化されたOLS推定量を提案する。
• 反復的でない3段階のアルゴリズムを2つ導入する：(1) 初期のリッジ回帰、(2) 候補変数の選択のためのハードスレッショーディング、(3) 選択されたサブセット上で最終的なOLSフィット。
• 強力な信号を特定し次元削減を行うためにハードスレッショーディングを採用し、反復的最適化の必要を回避する。
• ノイズとデザイン行列の条件数に関する理論的バウンドを用いて、条件数の緩やかな増加のもとで一貫性を保証する。
• 多くの競合手法が要請するサブガウス型または有界誤差仮定とは異なり、誤差項の分散が有界であること（$ \mathrm{Var}(\varepsilon) < \infty $）に依存する。
• 通信量を最小限に抑えた完全に並列化可能な行列演算を可能とし、超高次元データ（$ \log p = o(n) $）におけるスケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 正則化ペナルティを用いない通常最小二乗法を、高次元線形モデルに一貫して適用できるか？
• RQ2 OLSベースのアルゴリズムが高次元設定で一貫したモデル選択と推定を達成できる条件は何か？
• RQ3 最小二乗法とハードスレッショーディングを組み合わせた手法が、正則化手法よりも一貫性、計算効率、誤差分布へのロバストネスにおいて優れているか？
• RQ4 従来の手法と比較して、弱いスパarsityと非サブガウス型誤差の下で、提案手法の性能はいかがなものか？
• RQ5 予測変数同士が高相関を示す場合や、デザイン行列の条件数が緩やかに増加する場合でも、アルゴリズムは一貫性を保てるか？

主な発見

• 提案手法は、lassoよりも弱い条件下でモデル選択の一貫性と推定の一貫性を達成する。特に、irrepresentable 条件を必要としない。
• 誤差項の分散が有界であるという仮定に基づくため、多くの既存手法が要請するサブガウス型または有界誤差仮定よりも制約が弱い。
• $ \log p = o(n) $ の超高次元設定でも一貫性を維持でき、サポート回復と推定誤差バウンドに関する理論的保証が得られる。
• やや弱い正則性条件のもとで、推定誤差が高確率で $ \|\hat{\beta}^{(ridge)}_d - \beta_d\|_\infty \leq 3\sigma\sqrt{\log p / n^\alpha} $ で有界であることが示された。
• 計算効率が高く、並列化が容易であり、通信量を最小限に抑えた行列演算により、$ p $ が大きい場合でもスケーラブルである。
• 実験結果では、さまざまなシミュレーション設定および実データ解析において、正則化に基づく手法と比較して、モデル選択、パrameter推定、計算速度の面で競争力のある性能を示した。