[论文解读] Leave-one-out prediction intervals in linear regression models with many variables

Lukas Steinberger, Hannes Leeb|arXiv (Cornell University)|Feb 18, 2016

Statistical Methods and Inference参考文献 14被引用 18

一句话总结

该论文提出了一种适用于高维线性回归模型的通用留一法预测区间方法，其中预测变量数量 $ p_n $ 可随样本量 $ n $ 增长。通过使用留一法残差 $ \tilde{u}_i = y_i - x_i^\top \hat{\beta}_{(i)} $ 的经验分位数，该方法在误差分布和设计矩阵的假设极弱的情况下，即使在 $ p_n/n \gg 0 $ 的情形下，也能构建出一致渐近有效的预测区间。其主要贡献在于实现了对多种估计器（如 M-估计、James-Stein 估计与 LASSO）均保持稳健的预测推断。

ABSTRACT

We study prediction intervals based on leave-one-out residuals in a linear regression model where the number of explanatory variables can be large compared to sample size. We establish uniform asymptotic validity (conditional on the training sample) of the proposed interval under minimal assumptions on the unknown error distribution and the high dimensional design. Our intervals are generic in the sense that they are valid for a large class of linear predictors used to obtain a point forecast, such as robust M-estimators, James-Stein type estimators and penalized estimators like the LASSO. These results show that despite the serious problems of resampling procedures for inference on the unknown parameters, leave-one-out methods can be successfully applied to obtain reliable predictive inference even in high dimensions.

研究动机与目标

• 开发一种在预测变量数量 $ p_n $ 随样本量 $ n $ 增长的高维线性回归中仍保持有效的通用预测区间方法。
• 解决传统重采样方法（如残差自助法）在高维设置下因误差分布估计不一致而失效的问题。
• 提供一种条件渐近诚实的预测区间，其有效性不依赖于点预测器 $ \hat{\beta} $ 的选择，例如 M-估计、收缩估计或 LASSO 等惩罚估计。
• 在误差分布和设计矩阵结构的假设极弱的前提下，建立预测区间的统一渐近有效性。

提出的方法

• 该方法利用留一法残差 $ \tilde{u}_i = y_i - x_i^\top \hat{\beta}_{(i)} $ 的经验分位数构造预测区间，其中 $ \hat{\beta}_{(i)} $ 是在不使用第 $ i $ 个观测时计算出的估计量。
• 预测区间定义为 $ PI_{\alpha}^{(L1O)} = [x_0^\top \hat{\beta} + \tilde{q}_{n,\alpha/2}, x_0^\top \hat{\beta} + \tilde{q}_{n,1-\alpha/2}] $，其中 $ \tilde{q}_{n,\alpha} $ 为留一法残差的经验 $ \alpha $-分位数。
• 该方法通过直接估计预测误差的条件分布，避免了对真实误差分布的估计。
• 理论有效性在 $ \hat{\beta} $ 的最小正则性条件下得到证明，包括高维估计器如 LASSO 和 M-估计。
• 该方法依赖于留一法残差经验分布的渐近分析，表明其以概率收敛于真实的条件预测误差分布。
• 关键技术工具包括随机矩阵的 Bai-Yin 定理（用于特征值行为分析）以及在高维渐近下经验谱分布的收敛性。

实验结果

研究问题

• RQ1 是否可以使用留一法残差构造出即使在 $ p_n/n \gg 0 $ 情况下仍具有统一渐近有效性的预测区间？
• RQ2 所提出的方法是否在包括 M-估计、James-Stein 估计和 LASSO 估计在内的多种点预测器中均保持有效性？
• RQ3 传统重采样方法（如残差自助法）为何在高维设置下会失效？留一法是否能够克服这些失效？
• RQ4 在高维情形下，留一法残差的分布是否为条件预测误差分布的一致估计？

主要发现

• 所提出的留一法预测区间 $ PI_{\alpha}^{(L1O)} $ 具有统一渐近有效性，满足 $ \sup_{\beta, \sigma^2, \Sigma} \mathbb{E}_{\beta,\sigma^2,\Sigma}\left[ \left| \mathbb{P}(y_0 \in PI_{\alpha}^{(L1O)} \mid Y,X) - (1 - \alpha) \right| \right] \to 0 $，当 $ n \to \infty $ 时，即使在 $ p_n/n \gg 0 $ 的情况下也成立。
• 该方法具有通用性，适用于广泛的估计器类别，包括 M-估计、James-Stein 类收缩估计和 LASSO 等惩罚估计。
• 该方法通过直接估计预测误差的条件分布而非扰动项的误差分布，避开了残差自助法的缺陷。
• 理论依据在于留一法残差经验分布收敛于真实的条件预测误差分布，即使在高维情形下也成立。
• 在 $ \hat{\beta} $ 的温和正则性条件下，该方法在无需误差分布为高斯或轻尾的前提下，实现了统一渐近有效性。
• 在假设 $ p_n/n \to \kappa \in [0,1) $ 的条件下，该方法的渐近有效性几乎必然成立，且 $ X^\top X/n $ 的特征值极限行为在证明中起关键作用。