[论文解读] Conformal prediction beyond exchangeability

Rina Foygel Barber, Emmanuel J. Candès+2 more|arXiv (Cornell University)|Feb 27, 2022

Energy Load and Power Forecasting被引用 7

一句话总结

该论文通过引入加权分位数和一种新颖的随机化技术，将分位数预测推广至处理非交换性数据和非对称算法，即使在分布漂移或模型拟合不对称的情况下，也能实现可证明的鲁棒覆盖，且覆盖损失被加权总变差距离之和所界定，该距离衡量了数据排列之间的差异。

ABSTRACT

Conformal prediction is a popular, modern technique for providing valid predictive inference for arbitrary machine learning models. Its validity relies on the assumptions of exchangeability of the data, and symmetry of the given model fitting algorithm as a function of the data. However, exchangeability is often violated when predictive models are deployed in practice. For example, if the data distribution drifts over time, then the data points are no longer exchangeable; moreover, in such settings, we might want to use a nonsymmetric algorithm that treats recent observations as more relevant. This paper generalizes conformal prediction to deal with both aspects: we employ weighted quantiles to introduce robustness against distribution drift, and design a new randomization technique to allow for algorithms that do not treat data points symmetrically. Our new methods are provably robust, with substantially less loss of coverage when exchangeability is violated due to distribution drift or other challenging features of real data, while also achieving the same coverage guarantees as existing conformal prediction methods if the data points are in fact exchangeable. We demonstrate the practical utility of these new tools with simulations and real-data experiments on electricity and election forecasting.

研究动机与目标

• 解决在分布漂移或非独立同分布数据下，传统分位数预测因交换性假设失效而带来的局限性。
• 支持使用非对称算法，以在时间序列或动态数据场景中更重视近期或相关数据点。
• 在交换性被违反时，仍能提供接近名义水平的理论覆盖保证。
• 构建一个在数据分布上假设最少的框架，包括无需独立同分布或交换性要求，同时保持完整的覆盖有效性。
• 提出一种基于加权残差的方法，用于量化并界定因非交换性导致的覆盖损失。

提出的方法

• 在分位数预测框架中引入加权分位数，以在校准过程中降低远距离或不相关数据点的影响。
• 提出一种随机化技术，使非对称算法可在保持有效覆盖保证的前提下被使用。
• 将覆盖间隙定义为名义覆盖与实际覆盖之间的差值，其上界为测试点与每个训练点互换后所得残差向量之间总变差距离的加权和。
• 利用加权残差经验分布定义“异常”点，其中此类点的加权比例被限制在 α 以内。
• 通过将非覆盖事件与测试点在数据排列下被分类为“异常”的事件关联，建立非覆盖的概率上界。
• 利用数据排列下残差向量之间的总变差距离来量化对非交换性的敏感度，从而确保鲁棒性。

实验结果

研究问题

• RQ1 当由于分布漂移导致数据点非交换性时，如何扩展分位数预测以维持有效覆盖？
• RQ2 对分位数预测框架进行何种修改，可支持使用更重视近期或相关数据的非对称算法？
• RQ3 在非交换性数据下，能否推导出覆盖损失的理论界？其依赖于什么因素？
• RQ4 当交换性被违反时，所提出方法与标准分位数预测在覆盖精度方面有何比较？
• RQ5 数据权重与随机化在非独立同分布或非交换性数据下的覆盖稳定性中起到何种作用？

主要发现

• 覆盖间隙——即名义覆盖与实际覆盖之差——被限制为测试点与每个训练点互换后所得残差向量之间总变差距离的加权和。
• 当数据交换性成立时，所提方法的覆盖保证与标准分位数预测一致，确保与现有理论的一致性。
• 在存在分布漂移的情况下，该方法能将覆盖保持在接近名义水平，模拟与真实数据实验（如电力与选举预测）已验证此结论。
• 加权分位数与随机化的结合使方法对非交换性数据具有鲁棒性，且无需强分布假设。
• 覆盖损失的理论界仅依赖于数据排列之间的总变差距离，因此即使在联合分布未知时也适用。
• 在 ELEC2 数据集上的实证结果表明，标准分位数预测因漂移导致覆盖随时间下降，而所提非交换性方法能维持约 90% 的覆盖。