[论文解读] Distribution-Free Predictive Inference For Regression

Jing Lei, Max G’Sell+3 more|arXiv (Cornell University)|Apr 14, 2016

Statistical Methods and Inference被引用 37

一句话总结

本文提出了一种基于置信预测的无分布框架，用于回归预测推断，无需分布假设即可在有限样本下生成有效的预测区间。主要贡献是一种即使在模型误设下也能保证边际覆盖的 方法，还扩展至样本内预测、异方差性处理以及基于LOCO推断的无模型变量重要性评估。

ABSTRACT

We develop a general framework for distribution-free predictive inference in regression, using conformal inference. The proposed methodology allows for the construction of a prediction band for the response variable using any estimator of the regression function. The resulting prediction band preserves the consistency properties of the original estimator under standard assumptions, while guaranteeing finite-sample marginal coverage even when these assumptions do not hold. We analyze and compare, both empirically and theoretically, the two major variants of our conformal framework: full conformal inference and split conformal inference, along with a related jackknife method. These methods offer different tradeoffs between statistical accuracy (length of resulting prediction intervals) and computational efficiency. As extensions, we develop a method for constructing valid in-sample prediction intervals called <i>rank-one-out</i> conformal inference, which has essentially the same computational efficiency as split conformal inference. We also describe an extension of our procedures for producing prediction bands with locally varying length, to adapt to heteroscedasticity in the data. Finally, we propose a model-free notion of variable importance, called <i>leave-one-covariate-out</i> or LOCO inference. Accompanying this article is an R package conformalInference that implements all of the proposals we have introduced. In the spirit of reproducibility, all of our empirical results can also be easily (re)generated using this package.

研究动机与目标

• 开发一种通用的、无分布的回归预测带构建框架，无论模型假设如何，均能保证有限样本的边际覆盖。
• 为任意回归估计器（线性、高维、非参数）提供有效的预测推断，无需正确模型设定。
• 将该框架扩展至处理样本内预测、针对异方差数据的局部可变预测区间长度，以及无模型的变量重要性评估。
• 提供一种计算高效且理论严谨的替代方案，以替代依赖强分布假设的参数预测区间。
• 引入LOCO（逐个剔除协变量）推断作为无模型的变量重要性度量，其在最小假设下依然有效。

提出的方法

• 使用置信预测方法，通过在训练数据中加入一个假设的新观测值，并基于经验分位数计算p值，以构建预测带。
• 采用两种主要变体：完整置信预测（对每个新预测重新拟合模型）和分割置信预测（在训练子集上拟合一次模型，使用校准子集进行预测），以提高计算效率。
• 提出了一种秩一剔除置信预测方法，作为计算高效的样本内预测方法，其效率与分割置信预测相当，同时保持有限样本有效性。
• 应用局部加权置信预测方法，构建宽度可变的预测带，以适应响应变量中的异方差性。
• 提出LOCO推断作为无模型的变量重要性度量，通过评估每次剔除一个协变量后预测误差的中位数超额值来实现。
• 在R包conformalInference中实现了所有方法，支持结果的可复现性及所提方法的实际应用。

实验结果

研究问题

• RQ1 能否开发一种通用框架，实现回归中无分布假设下的无分布预测推断，并保证有限样本边际覆盖？
• RQ2 在统计精度（区间宽度）和计算效率方面，完整置信预测与分割置信预测相比如何？
• RQ3 能否构建具有有限样本有效性且计算效率与分割置信预测相当的样本内预测区间？
• RQ4 如何通过允许局部可变的区间长度，使预测带适应异方差数据？
• RQ5 能否定义一种在最小假设下有效且对模型误设具有鲁棒性的无模型变量重要性度量？

主要发现

• 所提出的置信预测框架可保证对任意回归估计器在水平 $1 - \alpha$ 下具有有限样本边际覆盖，即使模型严重误设亦成立。
• 分割置信预测在仅损失少量统计精度的情况下实现了计算效率，同时保持了有效覆盖。
• 秩一剔除置信预测提供了计算效率与分割置信预测相当的样本内预测区间，使在无法高效进行样本外拟合的场景中具有实际应用价值。
• 局部加权置信预测通过生成反映局部方差的宽度可变预测带，成功适应了异方差数据。
• LOCO推断通过测量剔除协变量后预测误差的中位数超额值，识别出相关协变量，在高维设置下实证结果清晰区分了相关与无关变量。
• R包conformalInference支持所有实证结果的完整可复现性，推动了所提方法的广泛采用与进一步扩展。