[論文レビュー] Ensemble Modeling for Time Series Forecasting: an Adaptive Robust Optimization Approach

Dimitris Bertsimas, Léonard Boussioux|arXiv (Cornell University)|Apr 9, 2023

Air Quality Monitoring and Forecasting被引用数 5

ひとこと要約

本稿では、時系列予測アンサンブル向けに、リアルタイムでモデル重みを動的に調整することで精度とロバスト性を向上させる、適応的ロバスト最適化（ARO）フレームワークを提案する。実世界の応用において、最良のアンサンブルメンバーを後知恵で比較した場合、RMSEが16–26%低く、CVaRが14–28%低い結果を達成している。

ABSTRACT

Accurate time series forecasting is critical for a wide range of problems with temporal data. Ensemble modeling is a well-established technique for leveraging multiple predictive models to increase accuracy and robustness, as the performance of a single predictor can be highly variable due to shifts in the underlying data distribution. This paper proposes a new methodology for building robust ensembles of time series forecasting models. Our approach utilizes Adaptive Robust Optimization (ARO) to construct a linear regression ensemble in which the models' weights can adapt over time. We demonstrate the effectiveness of our method through a series of synthetic experiments and real-world applications, including air pollution management, energy consumption forecasting, and tropical cyclone intensity forecasting. Our results show that our adaptive ensembles outperform the best ensemble member in hindsight by 16-26% in root mean square error and 14-28% in conditional value at risk and improve over competitive ensemble techniques.

研究の動機と目的

• データ分布の変化に伴い個々のモデルの性能が低下する時系列予測におけるモデルドリフトの課題に対処する。
• 新規データと不確実性に応じてアンサンブル重みを動的に調整することで、予測のロバスト性と精度を向上させる。
• 最悪の誤差に対して理論的保証を提供する、実装可能なロバスト最適化フレームワークを構築する。
• 高リスクを伴う実世界の予測タスクにおいて、静的および適応的アンサンブルベースラインを上回る本手法の優位性を実証する。
• 医療や気候モデリングなどのマルチモーダル時系列応用における、適応的特徴選択への応用を拡張する。

提案手法

• 各時刻における明らかになった誤差に基づいて重みを更新する、多段階の適応的ロバスト最適化（ARO）問題としてアンサンブル重み付け問題を定式化する。
• アフィン意思決定ルールを用いて適応的重みをパrameter化し、非凸なミニマックス問題を解釈可能な二次錐計画問題（SOCP）に変換する。
• モデル予測誤差の不確実性集合を組み込むことで、最悪の逸脱に対してロバスト性を確保する。
• 最終予測をベースモデルの予測の重み付き和として定義する線形回帰アンサンブルを構築し、AROにより重みを最適化する。
• 同値定理を適用して、実用的導入に適した凸的かつ計算効率の良い形にロバスト最適化問題を再定式化する。
• エネルギー、大気質、熱帯低気圧の強度予測の実世界予測パイプラインに本手法を統合する。

Figure 1 : Schematic of the principle of ensemble modeling. Several base learners make predictions from the original data and are combined into an ensemble. We represent the three real-world data applications included in this paper.

実験結果

リサーチクエスチョン

• RQ1 適応的ロバスト最適化（ARO）は、静的またはヒューリスティックな重み付け方式と比較して、時系列予測アンサンブルの精度とロバスト性を向上させることができるか？
• RQ2 提案手法のAROベースアンサンブルは、多様な実世界の予測タスクにおいて、後知恵で最良の個々のモデルと比較してどの程度優れているか？
• RQ3 適応的重み付け機構は、モデルドリフトの影響をどの程度軽減し、最悪の予測誤差を低減できるか？
• RQ4 AROフレームワークは、医療や気候応用におけるマルチモーダル時系列データの適応的特徴選択へ拡張可能か？
• RQ5 主なハイパーパrameter（例：不確実性集合のサイズ、正則化）の選択が、適応的アンサンブルの性能と安定性に与える影響はいかほどか？

主な発見

• 実世界のすべての予測タスクにおいて、最良の個々のモデルを後知恵で比較した場合、適応的ロバストアンサンブルは、平均二乗誤差（RMSE）で16–26%低い結果を達成した。
• 最良のモデルを後知恵で比較した場合、条件付きリスク価値（CVaR）が14–28%低く、最悪ケース性能が優れていることを示している。
• 提案手法の変種である適応的リッジ回帰は、北大西洋域と東太平洋域でそれぞれ公式予報（OFCL）と比較して、MAEが12%および17%低かった。
• 静的リッジ回帰と比較して、北大西洋域ではMAEで4%、東太平洋域では9%の向上が得られた。
• 標準アンサンブル（アンサンブル平均、Exp3）を常に上回り、精度とロバスト性の面で運用予報（FSSE、OFCL）と同等またはそれを上回った。
• 合成実験により、適応的アンサンブルはモデルドリフトに強く、さまざまな不確実性レベルやデータ分布の下でも性能を維持することが確認された。

Figure 2 : Average performance across 30 seeds of the different ensemble methods with respect to the number of ensemble members. We added in light color the corresponding one-standard deviation intervals around the average.