[论文解读] Conditional predictive inference for high-dimensional stable algorithms

Lukas Steinberger, Hannes Leeb|arXiv (Cornell University)|Sep 5, 2018

Probabilistic and Robust Engineering Design参考文献 31被引用 7

一句话总结

本文提出基于留一法残差的预测区间，在基础算法在单个观测值删除下保持稳定时，可实现接近名义水平的条件覆盖。该方法通过有限样本分析确保高维设置下的可靠预测推断，即使对误差分布的假设极少。

ABSTRACT

We investigate generically applicable and intuitively appealing prediction intervals based on leave-one-out residuals. The conditional coverage probability of the proposed interval, given the observations in the training sample, is close to the nominal level, provided that the underlying algorithm used for computing point predictions is sufficiently stable under the omission of single feature-response pairs. Our results are based on a finite sample analysis of the empirical distribution function of the leave-one-out residuals and hold in a non-parametric setting with only minimal assumptions on the error distribution. To illustrate our results, we also apply them to high-dimensional linear predictors, where we obtain uniform asymptotic conditional validity as both sample size and dimension tend to infinity at the same rate. These results show that despite the serious problems of resampling procedures for inference on the unknown parameters (cf. Bickel and Freedman, 1983; El Karoui and Purdom, 2015; Mammen, 1996), leave-one-out methods can be successfully applied to obtain reliable predictive inference even in high dimensions.

研究动机与目标

• 开发通用适用的预测区间，使其保持接近名义水平的条件覆盖概率。
• 解决传统重抽样方法在高维设置下失效时的可靠预测推断挑战。
• 在对误差分布假设最少的前提下，建立基于留一法残差区间的理论有效性。
• 证明当样本量和维度同时增长时，高维线性模型中预测区间的统一渐近条件有效性。
• 表明稳定算法即使在重抽样程序在高维中存在已知局限性的情况下，仍能实现有效推断。

提出的方法

• 使用留一法残差的经验分布函数构造预测区间。
• 依赖有限样本分析，以确保给定训练数据的条件覆盖。
• 对预测算法在单个特征-响应对被删除时的稳定性施加条件。
• 在对误差分布假设最少的前提下建立理论保证，无需参数建模。
• 将结果扩展至样本量和维度以相同速率增长的高维线性预测器。
• 证明该方法通过关注算法稳定性，避免了传统重抽样方法的陷阱。

实验结果

研究问题

• RQ1 在假设最少的前提下，基于留一法残差的预测区间是否能实现接近名义水平的条件覆盖？
• RQ2 单个观测值删除下的算法稳定性如何影响预测区间的有效性？
• RQ3 在高维设置下，基于留一法残差构造的预测区间的有限样本性质如何？
• RQ4 所提出的方法能否在高维线性模型中确保统一渐近条件有效性？
• RQ5 为何传统重抽样方法在高维中对参数推断失效，却对预测推断仍然有效？

主要发现

• 当算法在单个观测值被删除时保持稳定，基于留一法残差的预测区间可实现接近名义水平的条件覆盖概率。
• 该方法在仅对误差分布做最少假设的非参数设置下依然有效。
• 有限样本分析证实了留一法残差经验分布函数在推断中的可靠性。
• 在高维线性模型中，当样本量和维度以相同速率增长时，预测区间实现了统一渐近条件有效性。
• 尽管重抽样在参数推断中存在已知问题，但由于算法稳定性，留一法方法在预测推断中仍保持有效。
• 该方法为高维预测任务中传统重抽样提供了一种稳健的替代方案。