[论文解读] Adaptive Conformal Predictions for Time Series

Margaux Zaffran, Aymeric Dieuleveut+3 more|arXiv (Cornell University)|Feb 15, 2022

Stock Market Forecasting Methods被引用 17

一句话总结

本文提出 AgACI，一种用于时间序列的无参数自适应置信预测方法，通过在线专家聚合提升在时间依赖性和分布漂移下的预测区间效率与有效性。该文理论上分析了自适应置信推断（ACI）中的学习率，并通过大量模拟实验和一个真实的电力价格预测案例研究，证明 AgACI 即使在非交换性、依赖性数据下也能实现有效且狭窄的预测区间，优于现有方法在合成与真实场景中的表现。

ABSTRACT

Uncertainty quantification of predictive models is crucial in decision-making problems. Conformal prediction is a general and theoretically sound answer. However, it requires exchangeable data, excluding time series. While recent works tackled this issue, we argue that Adaptive Conformal Inference (ACI, Gibbs and Cand{è}s, 2021), developed for distribution-shift time series, is a good procedure for time series with general dependency. We theoretically analyse the impact of the learning rate on its efficiency in the exchangeable and auto-regressive case. We propose a parameter-free method, AgACI, that adaptively builds upon ACI based on online expert aggregation. We lead extensive fair simulations against competing methods that advocate for ACI's use in time series. We conduct a real case study: electricity price forecasting. The proposed aggregation algorithm provides efficient prediction intervals for day-ahead forecasting. All the code and data to reproduce the experiments is made available.

研究动机与目标

• 为解决在依赖性时间序列数据中应用置信预测时缺乏理论有效性与效率的问题。
• 开发一种无参数方法，自适应地组合多个 ACI 模型以提升预测区间的性能。
• 分析在交换性与自回归数据假设下，ACI 中学习率的理论影响。
• 在合成时间序列与真实世界电力价格预测任务中对方法进行实证评估。
• 提供可复现的框架，包含开源代码与数据，用于时间序列置信预测。

提出的方法

• 提出 AgACI，一种在线专家聚合方法，通过随时间变化的权重组合多个 ACI 模型，以提升预测区间效率。
• 通过顺序模型重新拟合，将自适应置信推断（ACI）适配时间序列，以支持多种分布漂移与非交换性数据。
• 在 ACI 中使用学习率参数以控制对近期数据与分布漂移的敏感度，并对学习率对有效性与效率的影响进行理论分析。
• 采用顺序分割策略进行训练与校准，确保校准集在时间上位于训练集之后，以保持时间顺序。
• 通过指数加权方法实现在线聚合，动态选择在时间上表现最佳的 ACI 配置。
• 使用 ARMA(1,1)、AR(1) 与 MA(1) 过程的合成时间序列以及包含多个历史特征的法国电力现货价格真实数据对方法进行验证。

实验结果

研究问题

• RQ1 在交换性与自回归数据下，ACI 中的学习率如何影响预测区间的有效性与效率？
• RQ2 在线专家聚合能否提升在具有时间依赖性与分布漂移的时间序列中 ACI 的性能？
• RQ3 ACI 与 AgACI 在合成与真实时间序列上与现有方法（如 EnbPI 与 OSSCP）相比，在覆盖率有效性与区间宽度方面表现如何？
• RQ4 ACI 中无限预测区间在多大程度上反映了真实的预测挑战？γ 的选择如何影响这种行为？
• RQ5 AgACI 是否能在真实世界电力价格预测场景中提供有效且信息丰富的预测区间？

主要发现

• 在所有测试的合成时间序列模型（包括 ARMA(1,1)、AR(1) 与 MA(1)）中，AgACI 实现了显著比竞争方法更窄的平均区间宽度，同时保持了有效性。
• 在 φ=0.99 的 ARMA(1,1) 模型中，AgACI 的平均区间宽度为 12.14，优于 OSSCP（13.45）与 EnbPI V2（14.21）。
• 在真实世界电力价格预测任务中，AgACI 在 γ=0.01 时于 2019 年 1 月 25 日成功覆盖了 95.4% 的实际值，且区间宽度窄于 OSSCP 与 EnbPI V2。
• 当使用 γ=0.01 时，ACI 中无限区间的比例显著降低（例如，φ=0.1 时为 7.40%），相比 γ=0.05 时（例如，φ=0.99 时为 22.59%），表明在较低 γ 下预测更保守且更合理。
• 在 φ=0.99 时，γ=0.05 下有 560 个点产生无限区间，但其中仅 53 个在 γ=0.01 下未被覆盖，表明在 γ=0.05 下约 90.57% 的无限区间可能为不合理的预测。
• 随机分割策略产生的区间显著更窄，尽管覆盖率略低，表明分割策略设计中存在权衡。