[論文レビュー] Leave-one-out prediction intervals in linear regression models with many variables

Lukas Steinberger, Hannes Leeb|arXiv (Cornell University)|Feb 18, 2016

Statistical Methods and Inference参考文献 14被引用数 18

ひとこと要約

本稿では、サンプルサイズ $ n $ と共に増加する予測変数の数 $ p_n $ を持つ高次元線形回帰モデルに対して、汎用的な1つ抜き予測区間手法を提案する。この手法は、leave-one-out 残差 $ \tilde{u}_i = y_i - x_i^\top \hat{\beta}_{(i)} $ の経験的 quantile を用いることで、誤差分布や設計行列に関する最小限の仮定のもとで、$ p_n/n \gg 0 $ でさえも一様漸近的に有効な予測区間を構築する。主な貢献は、M-推定量、James-Stein推定量、LASSO などの多様な推定量に対しても有効なロバストな予測的推論を実現することにある。

ABSTRACT

We study prediction intervals based on leave-one-out residuals in a linear regression model where the number of explanatory variables can be large compared to sample size. We establish uniform asymptotic validity (conditional on the training sample) of the proposed interval under minimal assumptions on the unknown error distribution and the high dimensional design. Our intervals are generic in the sense that they are valid for a large class of linear predictors used to obtain a point forecast, such as robust M-estimators, James-Stein type estimators and penalized estimators like the LASSO. These results show that despite the serious problems of resampling procedures for inference on the unknown parameters, leave-one-out methods can be successfully applied to obtain reliable predictive inference even in high dimensions.

研究の動機と目的

• 予測変数の数 $ p_n $ がサンプルサイズ $ n $ と共に増加する高次元線形回帰モデルにおいても有効である汎用的な予測区間手法の開発。
• 誤差分布推定の不一致に起因する伝統的なリサンプリング手法（例：残差ブートストラップ）が高次元設定で失敗する問題の解決。
• M-推定量、縮小推定量、LASSO などの点推定量 $ \hat{\beta} $ の選択にかかわらず有効である条件付き漸近的誠実な予測区間の提供。
• 誤差分布および設計行列構造に関する最小限の仮定のもとで、予測区間の一様漸近的有効性の確立。

提案手法

• 本手法は、$ i $ 番目の観測値を除いた推定量 $ \hat{\beta}_{(i)} $ を用いて計算されるleave-one-out 残差 $ \tilde{u}_i = y_i - x_i^\top \hat{\beta}_{(i)} $ の経験的 quantile を用いて予測区間を構築する。
• 予測区間は $ PI_{\alpha}^{(L1O)} = [x_0^\top \hat{\beta} + \tilde{q}_{n,\alpha/2}, x_0^\top \hat{\beta} + \tilde{q}_{n,1-\alpha/2}] $ で定義され、$ \tilde{q}_{n,\alpha} $ はleave-one-out 残差の経験的 $ \alpha $-quantile を表す。
• 真の誤差分布の推定を避ける代わりに、leave-one-out 残差による予測誤差の条件付き分布の直接推定を実現する。
• 理論的有効性は、$ \hat{\beta} $ に最小限の正則性条件を課すことで確立され、LASSO や M-推定量などの高次元推定量に対しても適用可能である。
• 本手法は、leave-one-out 残差の経験分布の漸近的解析に依拠し、真の条件付き予測誤差分布への確率的収束を示す。
• 主な技術的道具は、ランダム行列の固有値挙動を扱うBai-Yin定理および高次元漸近的条件下での経験スペクトル分布の収束である。

実験結果

リサーチクエスチョン

• RQ1 $ p_n/n \gg 0 $ であっても、leave-one-out 残差を用いて一様漸近的に有効な予測区間を構築できるか？
• RQ2 提案手法は、M-推定量、James-Stein推定量、LASSO 推定量などの多様な点推定量に対しても有効性を保つのか？
• RQ3 伝統的なリサンプリング手法（例：残差ブートストラップ）が高次元設定で失敗する理由は何か？ そして、leave-one-out 手法はその失敗を克服できるか？
• RQ4 高次元において、leave-one-out 残差の分布は、条件付き予測誤差分布の一致推定量として有効か？

主な発見

• 提案されたleave-one-out 予測区間 $ PI_{\alpha}^{(L1O)} $ は一様漸近的に有効であり、$ n \to \infty $ のとき $ \sup_{\beta, \sigma^2, \Sigma} \mathbb{E}_{\beta,\sigma^2,\Sigma}\left[ \left| \mathbb{P}(y_0 \in PI_{\alpha}^{(L1O)} \mid Y,X) - (1 - \alpha) \right| \right] \to 0 $ を満たす。これは $ p_n/n \gg 0 $ であっても成立する。
• 本手法は汎用的であり、M-推定量、James-Stein型縮小推定量、LASSO などのペナルティ付き推定量を含む広いクラスの推定量に適用可能である。
• 誤差分布の推定に依存するのではなく、予測誤差の条件付き分布を直接推定することで、残差ブートストラップの欠陥を回避する。
• 理論的裏付けは、高次元領域でも真の条件付き予測誤差分布へのleave-one-out 残差の経験分布の収束に依拠する。
• 推定量 $ \hat{\beta} $ にややきつい正則性条件を課す限り、誤差分布が正規分布または尾が薄い分布である必要がなく、一様漸近的有効性を達成する。
• 誤差分布が正規でない場合でも、$ p_n/n \to \kappa \in [0,1) $ であると仮定すれば、ほぼ確実に漸近的有効性が成立する。この証明において、$ X^\top X/n $ の固有値の極限挙動が鍵的役割を果たす。