[论文解读] Bootstrap prediction intervals with asymptotic conditional validity and unconditional guarantees

Yunyi Zhang, Dimitris N. Politis|arXiv (Cornell University)|May 19, 2020

Statistical Methods and Inference参考文献 27被引用 4

一句话总结

本文提出了一种新颖的自助法（bootstrap）算法，用于在线性模型中构建预测区间，该方法在保证无条件覆盖概率下限的同时，实现渐近条件覆盖有效性。通过重新加权自助残差并利用渐近理论校准分位数，该方法确保条件覆盖概率以概率收敛至名义水平，且条件覆盖不足的风险得到渐近控制。

ABSTRACT

It can be argued that optimal prediction should take into account all available data. Therefore, to evaluate a prediction interval's performance one should employ conditional coverage probability, conditioning on all available observations. Focusing on a linear model, we derive the asymptotic distribution of the difference between the conditional coverage probability of a nominal prediction interval and the conditional coverage probability of a prediction interval obtained via a residual-based bootstrap. Applying this result, we show that a prediction interval generated by the residual-based bootstrap has approximately 50% probability to yield conditional under-coverage. We then develop a new bootstrap algorithm that generates a prediction interval that asymptotically controls both the conditional coverage probability as well as the possibility of conditional under-coverage. We complement the asymptotic results with several finite-sample simulations.

研究动机与目标

• 解决标准残差自助法预测区间存在的局限性，即尽管具有渐近有效性，仍可能面临条件覆盖不足的问题。
• 开发一种预测区间，能够同时实现渐近条件覆盖概率接近名义水平，并提供覆盖概率的无条件下界。
• 以条件覆盖为指标形式化预测区间的性能，更真实反映所有数据均被观测到的实际预测实践。
• 弥合预测区间构建中渐近条件有效性与有限样本无条件保证之间的差距。

提出的方法

• 该方法引入一种重新加权的残差自助程序，通过调整残差的经验分布来改善条件覆盖特性。
• 推导真实条件覆盖概率与基于自助法的覆盖概率之间差异的渐近分布，从而实现对自助分位数的校准。
• 利用自助分布中的修正分位数构建预测区间，其中分位数的选择旨在同时保证条件有效性与覆盖概率的下界。
• 采用双重自助框架：第一层用于估计预测误差的条件分布，第二层用于控制潜在的覆盖不足风险。
• 关键组成部分包括使用学生化残差、经验过程理论以及浓度不等式，以界定自助法与真实条件覆盖之间的偏差。
• 通过涉及残差经验过程和学生化残差极限正态分布的渐近展开对方法进行校准。

Figure 1: Point-wise prediction intervals for the linear model $y_{i}=0.8+0.5x_{i}+\epsilon_{i},i=1,2,...,100$ . Black line, red dashed lines, solid purple lines, blue dashed lines, solid green lines respectively plot predictors, and point-wise prediction intervals generated by residual-based bootst

实验结果

研究问题

• RQ1 能否构建一种基于自助法的预测区间，使其条件覆盖概率以概率收敛至名义水平（1−α）？
• RQ2 标准残差自助法预测区间的条件覆盖不足概率具有何种渐近行为？
• RQ3 能否设计一种预测区间，使其同时实现渐近条件有效性与覆盖概率的无条件保证？
• RQ4 如何修改自助程序，以在保持渐近有效性的同时控制条件覆盖不足的风险？
• RQ5 在线性模型背景下，建立条件与无条件覆盖保证所需的理论工具是什么？

主要发现

• 标准残差自助法生成的预测区间，其条件覆盖不足的概率约为50%，表明在有限样本中存在显著的性能不足风险。
• 所提出的自助算法渐近地控制了条件覆盖概率与条件覆盖不足风险，确保条件覆盖概率以概率收敛至名义水平。
• 该方法保证了覆盖概率的无条件最低下界，满足符合预测的要求，同时在条件有效性方面优于传统方法。
• 有限样本模拟结果表明，所提方法在各种设计配置与误差分布下均能保持覆盖概率接近名义水平。
• 理论分析表明，基于自助法的条件覆盖与名义水平之间的偏差以概率收敛至零，且收敛速度由残差经验过程控制。
• 该方法通过重新加权自助残差并采用考虑误差方差估计可变性的精细化分位数校准，实现其目标。

(a) Normal, Residual-based bootstrap