[论文解读] Nested Conformal Prediction and the Generalized Jackknife

Arun Kumar Kuchibhotla, Aaditya Ramdas|arXiv (Cornell University)|Oct 23, 2019

Advanced Statistical Methods and Models被引用 4

一句话总结

本文提出了一种嵌套的置信预测框架，通过使用嵌套集合重新表述置信预测，实现了对非一致性评分（包括分位数回归和密度估计）的统一处理，同时自然地扩展到交叉置信预测和自助法+等聚合方法。该框架提出了QOOB这一新算法，结合了分位数回归、交叉置信预测、集成学习和袋外预测，实现了在多种数据集上的最先进性能。

ABSTRACT

Conformal prediction is a popular tool for providing valid prediction sets for classification and regression problems, without relying on any distributional assumptions on the data. While the traditional description of conformal prediction starts with a nonconformity score, we provide an alternate (but equivalent) view that starts with a sequence of nested sets and calibrates them to find a valid prediction set. The nested framework subsumes all nonconformity scores, including recent proposals based on quantile regression and density estimation. While these ideas were originally derived based on sample splitting, our framework seamlessly extends them to other aggregation schemes like cross-conformal, jackknife+ and out-of-bag methods. We use the framework to derive a new algorithm (QOOB, pronounced cube) that combines four ideas: quantile regression, cross-conformalization, ensemble methods and out-of-bag predictions. We develop a computationally efficient implementation of cross-conformal, that is also used by QOOB. In a detailed numerical investigation, QOOB performs either the best or close to the best on all simulated and real datasets.

研究动机与目标

• 开发一种统一的、分布无关的置信预测框架，以推广现有的非一致性评分方法。
• 将置信预测从样本分割扩展到包括交叉置信预测、自助法+和袋外方法等聚合技术。
• 设计一种新算法QOOB，将分位数回归、集成方法、交叉置信预测和袋外预测整合到嵌套框架中。
• 提供一种计算高效的交叉置信预测实现，以支持实际部署。
• 通过模拟和真实数据集的实证评估，验证QOOB在各类数据集上的性能，证明其优越性或接近最优性能。

提出的方法

• 该框架从基于基础预测器生成的一系列嵌套预测集合出发，取代传统的非一致性评分方法。
• 通过调整这些嵌套集合的大小进行校准，以在交换性条件下实现有效的覆盖率，确保有限样本下的有效性。
• 通过嵌套集合结构，该方法统一推广了所有标准的非一致性评分，包括基于分位数回归和密度估计的评分。
• 通过利用嵌套结构，实现了与交叉置信预测、自助法+和袋外预测等聚合方案的无缝集成，确保校准的一致性。
• 通过结合分位数回归用于非一致性评分、集成平均、交叉置信预测和袋外预测，推导出一种新算法QOOB（分位数袋外预测）。
• 开发了一种计算高效的交叉置信预测实现，该实现被复用于QOOB以降低计算成本。

实验结果

研究问题

• RQ1 嵌套集合框架能否统一并推广置信预测中现有的非一致性评分方法？
• RQ2 如何将置信预测从样本分割扩展到包括交叉置信预测和自助法+等聚合方法？
• RQ3 将分位数回归、集成方法、交叉置信预测和袋外预测整合到单一算法中，能带来多大的性能提升？
• RQ4 嵌套框架能否支持计算高效的交叉置信预测实现？
• RQ5 在多种数据集上，所提出的QOOB算法在预测集大小和覆盖率有效性方面与现有方法相比表现如何？

主要发现

• 嵌套置信预测框架提供了置信预测的一种等价但更通用的表述形式，涵盖了所有标准的非一致性评分。
• 该框架能够自然地扩展到交叉置信预测、自助法+和袋外预测等聚合方法，而无需修改核心校准过程。
• 从该框架中推导出的QOOB在研究中评估的所有模拟和真实数据集中均实现了最佳或接近最佳的性能。
• 计算高效的交叉置信预测实现使得该方法能够实现大规模的实际部署。
• 嵌套框架使得分位数回归与集成学习在置信预测中的原则性整合成为可能，从而提升了预测集的质量。