[论文解读] Ensemble Modeling for Time Series Forecasting: an Adaptive Robust Optimization Approach

Dimitris Bertsimas, Léonard Boussioux|arXiv (Cornell University)|Apr 9, 2023

Air Quality Monitoring and Forecasting被引用 5

一句话总结

本文提出了一种用于时间序列预测集成模型的自适应鲁棒优化（ARO）框架，能够实时动态调整模型权重，从而提升预测准确率与鲁棒性。在真实世界的应用中，该方法相较于事后表现最佳的集成成员，RMSE降低16–26%，CVaR降低14–28%。

ABSTRACT

Accurate time series forecasting is critical for a wide range of problems with temporal data. Ensemble modeling is a well-established technique for leveraging multiple predictive models to increase accuracy and robustness, as the performance of a single predictor can be highly variable due to shifts in the underlying data distribution. This paper proposes a new methodology for building robust ensembles of time series forecasting models. Our approach utilizes Adaptive Robust Optimization (ARO) to construct a linear regression ensemble in which the models' weights can adapt over time. We demonstrate the effectiveness of our method through a series of synthetic experiments and real-world applications, including air pollution management, energy consumption forecasting, and tropical cyclone intensity forecasting. Our results show that our adaptive ensembles outperform the best ensemble member in hindsight by 16-26% in root mean square error and 14-28% in conditional value at risk and improve over competitive ensemble techniques.

研究动机与目标

• 解决时间序列预测中的模型漂移问题，即由于数据分布随时间变化，导致单个模型性能随时间下降。
• 通过根据新数据和不确定性动态调整集成权重，提升预测的鲁棒性与准确性。
• 构建一个可计算的鲁棒优化框架，提供对最坏情况误差的理论保证。
• 在具有高影响的现实预测任务中，证明该方法优于静态和自适应集成基线。
• 将该方法扩展至多模态时间序列应用中的自适应特征选择，如医疗健康与气候建模。

提出的方法

• 将集成权重问题建模为多阶段自适应鲁棒优化（ARO）问题，其中权重在每个时间步根据已揭示的误差进行更新。
• 采用仿射决策规则对自适应权重进行参数化，将非凸的极小化-极大化问题转化为可计算的二阶锥规划（SOCP）。
• 在模型预测误差周围构建不确定性集，以确保对最坏情况偏差的鲁棒性。
• 构建一个线性回归集成模型，其中最终预测为基模型预测结果的加权和，权重通过ARO进行优化。
• 应用等价定理，将鲁棒优化问题重述为凸的、计算高效的形态，以实现实际部署。
• 将该方法集成至能源、空气质量及热带气旋强度预测的真实世界预测流程中。

Figure 1 : Schematic of the principle of ensemble modeling. Several base learners make predictions from the original data and are combined into an ensemble. We represent the three real-world data applications included in this paper.

实验结果

研究问题

• RQ1 与静态或启发式权重方案相比，自适应鲁棒优化能否提升时间序列预测集成模型的准确率与鲁棒性？
• RQ2 在多种真实世界预测任务中，所提出的基于ARO的集成方法相较于事后表现最佳的单个模型，性能如何？
• RQ3 自适应权重机制在多大程度上缓解了模型漂移的影响，并降低了最坏情况下的预测误差？
• RQ4 ARO框架能否扩展至多模态时间序列数据（如医疗健康或气候应用）中的自适应特征选择？
• RQ5 关键超参数（如不确定性集大小、正则化）对自适应集成模型性能与稳定性有何影响？

主要发现

• 在所有真实世界预测任务中，自适应鲁棒集成模型相较于事后表现最佳的单个模型，均实现了16–26%的均方根误差（RMSE）降低。
• 与事后最佳模型相比，该方法将条件风险价值（CVaR）降低了14–28%，表明其在最坏情况下的表现更优。
• 作为所提方法的变体，自适应岭回归在北大西洋和东太平洋盆地中，分别实现比官方预报（OFCL）低12%和17%的平均绝对误差（MAE）。
• 相较于静态岭回归，自适应组件在北大西洋带来4%的MAE提升，在东太平洋带来9%的MAE提升。
• 该方法在准确率与鲁棒性方面持续优于标准集成方法（如集成均值和Exp3），并匹配或超过实际运行预报（FSSE、OFCL）的性能。
• 合成实验表明，自适应集成模型对模型漂移具有强韧性，并在不同不确定性水平与数据分布下保持稳定性能。

Figure 2 : Average performance across 30 seeds of the different ensemble methods with respect to the number of ensemble members. We added in light color the corresponding one-standard deviation intervals around the average.