[論文レビュー] Prediction error after model search

Xiaoying Tian Harris|arXiv (Cornell University)|Oct 19, 2016

Statistical Methods and Inference参考文献 14被引用数 6

ひとこと要約

本稿では、データ駆動型モデル選択後の線形モデルにおける予測誤差の漸近的に不偏な推定器を提案する。これは、ベストサブセット選択やリラクスト Lasso などの一般な選択手順に適用可能であり、選択ルールの解析的表現を必要とせず、線形モデルの仮定も不要である。この手法により、不連続な推定量に対してもスティーンの不偏リスク推定器（SURE）の適用範囲が拡張され、$L^2$収束速度 $O(n^{-1/2})$ を達成する。

ABSTRACT

Estimation of the prediction error of a linear estimation rule is difficult if the data analyst also use data to select a set of variables and construct the estimation rule using only the selected variables. In this work, we propose an asymptotically unbiased estimator for the prediction error after model search. Under some additional mild assumptions, we show that our estimator converges to the true prediction error in $L^2$ at the rate of $O(n^{-1/2})$, with $n$ being the number of data points. Our estimator applies to general selection procedures, not requiring analytical forms for the selection. The number of variables to select from can grow as an exponential factor of $n$, allowing applications in high-dimensional data. It also allows model misspecifications, not requiring linear underlying models. One application of our method is that it provides an estimator for the degrees of freedom for many discontinuous estimation rules like best subset selection or relaxed Lasso. Connection to Stein's Unbiased Risk Estimator is discussed. We consider in-sample prediction errors in this work, with some extension to out-of-sample errors in low dimensional, linear models. Examples such as best subset selection and relaxed Lasso are considered in simulations, where our estimator outperforms both $C_p$ and cross validation in various settings.

研究の動機と目的

• 推定に使用したデータと同じデータを用いてモデル選択が行われる状況における予測誤差推定の課題に対処すること。これは一般的ではあるが、解析的に困難な状況である。
• 選択ルールの明示的解析的表現を必要としない、任意の選択手順に適応可能な汎用的推定器の開発。
• スティーンの不偏リスク推定器（SURE）の適用範囲を、ベストサブセット選択やリラクスト Lasso のような非滑らかで不連続な推定ルールに拡張すること。
• 予測誤差の一致したかつ漸近的に不偏な推定器を、予測変数の数が標本サイズとともに指数関数的に増加する高次元設定において提供すること。
• モデル不適合の下でも収束速度と頑健性に関する理論的保証を確立すること。

提案手法

• 本手法は、応答ベクトル $ y $ に独立したガウスノイズ $ \omega \sim N(0, \alpha \sigma^2 I) $ を微小に加えることで、応答の摂動を導入し、摂動の分散に関する予測誤差の期待値の微分を推定する。
• 区分的定数推定量 $ \hat{\mu}(y) = H_{\hat{M}(y)} y $ を用い、ここで $ H_{\hat{M}} $ は選択された変数の列空間への射影行列であり、$ \hat{M}(y) $ はデータに依存するモデル選択ルールである。
• 主な推定量は、$ y $ と $ y + \omega $ の間での予測誤差の期待値の差を、摂動分散で正規化することで得られ、これが予測誤差の不偏推定量となる。
• 理論的裏付けは、$ u \sim N(\mu, \tau I) $ の摂動分布の下での予測誤差の微分に依拠し、モーメントの仮定と集中不等式を用いて導出された微分の上限を評価する。
• 選択ルール $ \hat{M}(y) $ が $ y $ を通して選択されたモデル $ M $ のみに依存すると仮定することで、有限混合の射影行列の使用が可能になる。
• 弱い正則性条件（モーメントの有界性、モデル数の対数的増加）の下で、推定量が真の予測誤差に対して $ L^2 $ 収束速度 $ O(n^{-1/2}) $ を達成することが保証される。

実験結果

リサーチクエスチョン

• RQ1 選択ルールがデータに依存する場合、特にその結果得られる推定量が不連続であっても、予測誤差の不偏推定量を構築できるか？
• RQ2 提案された推定量は、一般な選択手順においても一貫性を保ち、$ O(n^{-1/2}) $ の $ L^2 $ 収束速度を達成するか？
• RQ3 予測誤差の数が標本サイズ $ n $ に対して指数関数的に増加する高次元設定にも、この推定量を適用可能か？
• RQ4 精度と一貫性の観点から、古典的手法（$ C_p $ や交差検証）と比較して、本推定量はどのように差をつけるか？
• RQ5 真の平均関数が線形でない場合（モデル不適合時）に、この推定量はどの程度拡張可能か？

主な発見

• 提案された推定量は、弱いモーメント仮定およびモデル数の成長仮定の下で、漸近的に不偏であり、$ L^2 $ で真の予測誤差に $ O(n^{-1/2}) $ の速度で収束する。
• 本手法は、選択ルールの解析的表現を必要とせず、ベストサブセット選択やリラクスト Lasso などの一般な選択手順に適用可能である。
• 潜在的モデル数が $ n $ の指数関数的関数として増加することを許容でき、高次元設定での利用を可能にする。
• 伝統的な SURE に基づく手法が失敗する不連続な推定ルール（例：ベストサブセット選択）に対しても、自由度の有効な推定器を提供する。
• シミュレーションにより、本推定量は $ C_p $ や交差検証を上回る精度と一貫性を示し、特に高次元的かつスパースな設定で顕著である。
• 理論的枠組みは、摂動に基づく微分推定アプローチを用いることで、スティーンの不偏リスク推定器を非滑らか推定量へ拡張する。