[論文レビュー] Prediction error of cross-validated Lasso

Sourav Chatterjee, Jafar Jafarov|arXiv (Cornell University)|Feb 23, 2015

Statistical Methods and Inference参考文献 55被引用数 32

ひとこと要約

本稿は、設計行列およびデータに依存するチューニングパラメータに関する最小限の仮定の下で、2-fold交差検証の変種を用いてチューニングパラメータが選択される場合のラッソの予測誤差に対する有限標本上界を提供する。主な貢献は、$ p \gg n $ の高次元設定ですら良好な予測性能を維持する交差検証ラッソの厳密な理論的分析であり、強い理論的性質を有する新しい誤差分散推定器の導入である。

ABSTRACT

In spite of the wealth of literature on the theoretical properties of the Lasso, there is very little known when the value of the tuning parameter is chosen using the data, even though this is what actually happens in practice. We give a general upper bound on the prediction error of Lasso when the tuning parameter is chosen using a variant of 2-fold cross-validation. No special assumption is made about the structure of the design matrix, and the tuning parameter is allowed to be optimized over an arbitrary data-dependent set of values. The proof is based on a general principle that may extend to other kinds of cross-validation as well as to other penalized regression methods. Based on this result, we propose a new estimate for error variance in high dimensional regression and prove that it has good properties under minimal assumptions.

研究の動機と目的

• 実際の応用で一般的に見られるように、チューニングパラメータがデータ駆動型である場合のラッソの予測誤差に関する理論的理解の不足を解消すること。
• 2-fold交差検証の変種を用いてチューニングパラメータが選択されるラッソの予測誤差に対する有限標本上界を確立すること。
• 高次元回帰において最小限の仮定の下でも一貫性を示す新しい誤差分散推定器を提案すること。
• 交差検証およびその他の正則化回帰手法に一般に適用可能な分析フレームワークを構築すること。

提案手法

• 予測誤差の上界を求めるために、濃度不等式と対称化に基づく一般原理を用いる。
• コーシー＝シュワルツの不等式およびモーメントの上限を用いて、推定された予測誤差と真の誤差の乖離を制御する。
• 指数モーメント不等式（補題 A.1）を用いたサブガウスおよびサブ・ワイブル尾部の境界を用いて、高次元ノイズを扱う。
• サブガウス過程のための最大不等式（補題 A.2）を用いて、データに依存する集合上の経験過程の上界を制御する。
• 交差検証の残差に基づいて新しい誤差分散 $ \hat{\sigma}^2 $ の推定器を導出し、弱い条件下でも一貫性を証明する。
• 推定誤差とモデル選択の不確実性の寄与を分離するために、新規な事象分解を用いる。

実験結果

リサーチクエスチョン

• RQ1 チューニングパラメータがデータ駆動型の交差検証によって選択される場合のラッソの有限標本予測誤差の上界は何か？
• RQ2 高次元設定（$ p \gg n $）において、交差検証ラッソの予測誤差はどのように振る舞うか？
• RQ3 最小限の仮定の下でも一貫性を示す新しい誤差分散推定器を構築できるか？
• RQ4 本稿で検討された特定のケースを超えて、交差検証ラッソを分析するための一般的な原則は何か？

主な発見

• 設計行列および誤差分布に関するやや厳しい仮定の下で、交差検証ラッソの予測誤差は、高確率で $ O(\sqrt{\log p / n}) $ のオーダーで減少する項によって上界で抑えられる。
• 提案された誤差分散推定器 $ \hat{\sigma}^2 $ は、$ p \gg n $ でさえも最小限の仮定の下で確率的に一貫性を示す。
• 予測誤差の上界は、設計行列 $ X $ に対するスパarsity や非一貫性の仮定を必要としない。
• 解析は任意のデータに依存するチューニングパラメータ集合に適用可能であり、実用的な交差検証スキームに広く適用可能である。
• 理論的フレームワークは一般性を有し、他の正則化回帰手法や交差検証の変種への拡張が可能である。