[论文解读] Adaptive Conformal Inference Under Distribution Shift

Isaac Gibbs, Emmanuel J. Candès|arXiv (Cornell University)|Jun 1, 2021

Machine Learning and Data Classification参考文献 27被引用 27

一句话总结

本文介绍了 Adaptive Conformal Inference (ACI)，一种在线框架，在非平稳数据下通过在线更新一个单一的平移参数来维持预测集的目标覆盖率。它可与任何黑箱预测器集成，并对预测进行校准以应对分布漂移。

ABSTRACT

We develop methods for forming prediction sets in an online setting where the data generating distribution is allowed to vary over time in an unknown fashion. Our framework builds on ideas from conformal inference to provide a general wrapper that can be combined with any black box method that produces point predictions of the unseen label or estimated quantiles of its distribution. While previous conformal inference methods rely on the assumption that the data points are exchangeable, our adaptive approach provably achieves the desired coverage frequency over long-time intervals irrespective of the true data generating process. We accomplish this by modelling the distribution shift as a learning problem in a single parameter whose optimal value is varying over time and must be continuously re-estimated. We test our method, adaptive conformal inference, on two real world datasets and find that its predictions are robust to visible and significant distribution shifts.

研究动机与目标

• 在数据分布随时间漂移的在线环境中，激励并发展具有保障覆盖的预测集方法。
• 提供一个简单、与模型无关的校准机制，在不假设平稳性的前提下维持长期覆盖率。
• 在受分布漂移影响的真实世界数据集上展示该方法的鲁棒性。

提出的方法

• 使用可与任意预测输出（点预测或分位数）配对的 conformity-score 框架。
• Introduce an online update rule for a shift-adjusted alpha parameter: alpha_{t+1} = alpha_t + gamma (alpha - err_t).
• 基于 Y_t 是否落在以 alpha_t 调整的自适应预测集之外来定义错覆盖 err_t。
• 通过自适应重新估计 alpha_t，使 M_t(alpha_t) ≈ alpha，达到近似或精确的边际覆盖。
• 讨论两种简单的更新变体（方程（2）和方程（3））以及步长 gamma 的权衡。
• 在分布漂移下提供理论保证，包括在隐藏马尔可夫模型设定中的长期覆盖和集中性界限。

实验结果

研究问题

• RQ1 在数据分布随时间漂移时，conformal 预测集是否能够维持有效覆盖？
• RQ2 单参数在线自适应如何在对数据生成过程保持不可知的情况下，检测并补偿分布漂移？
• RQ3 在非平稳性下，adaptive conformal inference 的理论保障有哪些（长期覆盖、集中性）？
• RQ4 在具有可见分布漂移的真实世界数据集上，ACI 的表现如何（如金融波动、选举夜预测）？

主要发现

• ACI 实现了目标的长期覆盖频率，与数据生成过程无关。
• 在平稳的漂移下，ACI 可以在大多数时刻达到近似边际覆盖。
• 步长 gamma 在自适应性和稳定性之间权衡；中等取值（如 gamma = 0.005）在实验中表现出稳定而有响应的行为。
• ACI 对显著的分布漂移仍然具有鲁棒性，在非自适应 conformal 方法失效的情形下表现良好（例如在波动性预测的金融危机期间）。
• 该方法可以与 conformal quantile 回归和其他 conformity scores 结合，以在保持覆盖率的同时在模型准确时实现更短的预测集。