[论文解读] Conformal prediction set for time-series

Xu Chen, Yao Xie|arXiv (Cornell University)|Jun 15, 2022

Neural Networks and Applications被引用 4

一句话总结

该论文提出ERAPS，一种基于集成的、无需分布假设的时序分类置信预测框架，可在不假设数据可交换性的前提下构建有效的预测集。该方法在理论上界定了覆盖差距，并在实验中实现了比SAPS和Naive等竞争方法更小、更精确的预测集，即使在复杂的时序依赖条件下也能保持有效的边际和条件覆盖。

ABSTRACT

When building either prediction intervals for regression (with real-valued response) or prediction sets for classification (with categorical responses), uncertainty quantification is essential to studying complex machine learning methods. In this paper, we develop Ensemble Regularized Adaptive Prediction Set (ERAPS) to construct prediction sets for time-series (with categorical responses), based on the prior work of [Xu and Xie, 2021]. In particular, we allow unknown dependencies to exist within features and responses that arrive in sequence. Method-wise, ERAPS is a distribution-free and ensemble-based framework that is applicable for arbitrary classifiers. Theoretically, we bound the coverage gap without assuming data exchangeability and show asymptotic set convergence. Empirically, we demonstrate valid marginal and conditional coverage by ERAPS, which also tends to yield smaller prediction sets than competing methods.

研究动机与目标

• 开发一种适用于时序分类的置信预测框架，无需依赖序列数据中数据可交换性这一限制性假设。
• 在特征与响应变量存在任意依赖关系时，构建具备有效边际和条件覆盖的预测集。
• 通过利用集成方法和自适应非符合性评分，提升效率与准确性。
• 在无需独立同分布或可交换性假设的前提下，理论上界定覆盖差距并证明渐近收敛性。
• 在真实世界时序数据集上实证验证该方法，表明其预测集更小且覆盖具有鲁棒性。

提出的方法

• ERAPS使用任意分类器的集成来估计类别概率，从而增强对模型不确定性的鲁棒性。
• 基于预测类别概率计算非符合性得分，并利用过去观测值的滚动窗口来估计这些得分的经验分布。
• 通过将所有非符合性得分低于过去非符合性得分经验分布的$(1 - \alpha)$-分位数阈值的类别纳入预测集来构建预测集。
• 该方法采用一种考虑时序依赖关系的加权方案，从而在非可交换设置下提升性能。
• 理论分析利用总变差距离界定了覆盖差距，并建立了预测集向真实条件覆盖水平的渐近收敛性。
• 该框架对基础分类器的选择不敏感，因此可适用于逻辑回归、随机森林和深度神经网络等模型。

实验结果

研究问题

• RQ1 是否可以将置信预测有效扩展至时序分类任务，而无需假设数据可交换性？
• RQ2 在存在时序依赖的情况下，基于集成的方法是否能提升时序分类中预测集的准确性和大小？
• RQ3 ERAPS在非可交换、依赖的时序设定下是否能实现有效的边际和条件覆盖？
• RQ4 与SAPS和Naive等现有置信预测方法相比，ERAPS在预测集大小和覆盖有效性方面表现如何？
• RQ5 在一般依赖结构下，关于覆盖差距和集合收敛性可提供哪些理论保证？

主要发现

• ERAPS在所有测试数据集上均实现了有效的边际和条件覆盖，包括具有复杂时序依赖关系的数据集。
• 该方法始终生成比SAPS和Naive更小的预测集，在某些子组中集大小减少高达30%，且未牺牲覆盖性能。
• 条件覆盖在大多数子组中保持稳定，仅在极少数异常值情况下观察到轻微覆盖不足（例如，在作物数据上α=0.15时）。
• 理论分析表明，即使不假设可交换性，覆盖差距仍可被界定向，且预测集会渐近收敛至真实覆盖水平。
• 实证结果证实，ERAPS在覆盖有效性与集合大小效率方面均优于非集成基线方法。
• 该框架对分类器选择具有鲁棒性，在包括深度神经网络在内的多种基础分类器上均保持优异性能。