[論文レビュー] A Practical Scheme and Fast Algorithm to Tune the Lasso With Optimality Guarantees

Michaël Chichignoud, Johannes Lederer+1 more|arXiv (Cornell University)|Oct 1, 2014

Statistical Methods and Inference参考文献 29被引用数 26

ひとこと要約

本稿では、Lepskiの手法を用いてLasso正則化パrameterをチューニングする新しい手法であるℓ∞に対する適応的検証（AV∞）を提案する。この手法は、有限標本における最適な保証と高速な計算を可能にする単一のLassoパスを用いる。実際のデータおよびシミュレーションデータにおいて、交差検証を上回る速度と精度を達成し、オラクルレベルのsup-norm誤差性能を小さな定数要因の範囲で達成する。

ABSTRACT

We introduce a novel scheme for choosing the regularization parameter in high-dimensional linear regression with Lasso. This scheme, inspired by Lepski's method for bandwidth selection in non-parametric regression, is equipped with both optimal finite-sample guarantees and a fast algorithm. In particular, for any design matrix such that the Lasso has low sup-norm error under an "oracle choice" of the regularization parameter, we show that our method matches the oracle performance up to a small constant factor, and show that it can be implemented by performing simple tests along a single Lasso path. By applying the Lasso to simulated and real data, we find that our novel scheme can be faster and more accurate than standard schemes such as Cross-Validation.

研究の動機と目的

• 強い非漸近的理論的保証を備えた計算的に効率的なLassoチューニング手法の欠如に対処すること。
• 有限標本条件下でオラクル性能に近いsup-norm誤差を達成するスキームを開発すること。
• 交差検証の計算的負担を回避しながら理論的最適性を維持する高速なアルゴリズムを提供すること。
• 標準的なチューニング手法と比較して、変数選択の正確性を向上させ、誤検出（I型エラー）を低減すること。
• 相関性や重尾分布を示す設計を持つ高次元設定におけるLassoの適用範囲を拡張すること。

提案手法

• AV∞手法は、Lepskiの原理を用いて、単一のLassoパスに沿って正則化パrameter λ を選択する。
• ℓ∞-ノルムにおけるLasso推定量と真のパramータとの最大偏差に基づくデータ駆動型しきい値を定義する。
• 推定量の誤差が制御された境界内に保たれる最小の λ を選択することで、最適性を保証する。
• 全パスの再計算を伴わず、Lassoパス上の単純な統計的仮説検定により最適な λ を特定する。
• 制限固有値条件および経験的グラム行列の対角優勢性を用いて理論的保証を導出する。
• サポート関数の不等式および凸包の議論を活用して、推定誤差のℓ∞-ノルムの上限を求める。

実験結果

リサーチクエスチョン

• RQ1 計算コストを最小限に抑えつつ、有限標本で最適な性能を達成するLassoチューニングスキームを開発できるか？
• RQ2 Lepskiの原理に基づく手法は、高次元回帰において交差検証を上回る精度と速度を達成できるか？
• RQ3 真のスパarsity やノイズレベルを事前に知らなくても、AV∞はオラクル選択のλに近いsup-norm誤差を達成できるか？
• RQ4 AV∞は変数選択において、交差検証と比較して誤検出や誤未検出（II型エラー）をどのように制御するか？
• RQ5 ノイズの弱いモーメント条件の下で、AV∞によるLassoチューニングにどのような理論的保証を確立できるか？

主な発見

• AV∞は、有限標本条件下ですべてのオラクル性能の定数倍の範囲でsup-norm誤差を達成する。
• シミュレーションデータにおいて、AV∞は交差検証を上回り、精度と計算速度の両面で優れている。特に高次元設定で顕著である。
• 交差検証と比較して、AV∞は誤検出を顕著に低減するが、相関が高い場合には真の信号を逃す可能性がある。
• 計算的に効率的であり、単一のLassoパス計算に加え、単純なしきい値テストを実行するだけで十分である。
• 強い相関（κ = 0.9）の設定では、AV∞は誤検出を減らすが、交差検証と比較して誤未検出率が高くなる。
• 理論的分析により、AV∞が標準的な高次元仮定（サブガウス型または重尾ノイズを含む）の下で最適な誤差境界を維持することが確認された。