[論文レビュー] OneNet: Enhancing Time Series Forecasting Models under Concept Drift by Online Ensembling

Yifan Zhang, Qingsong Wen+7 more|arXiv (Cornell University)|Sep 22, 2023

Data Stream Mining Techniques被引用数 21

ひとこと要約

OneNet は、時間系列予測のオンラインアンサンブルを二系統（クロスタイムとクロス変数）で構築し、その重みは RL-informed online convex programming ブロックによって動的に調整される。概念シフト下で顕著な改善をもたらす。

ABSTRACT

Online updating of time series forecasting models aims to address the concept drifting problem by efficiently updating forecasting models based on streaming data. Many algorithms are designed for online time series forecasting, with some exploiting cross-variable dependency while others assume independence among variables. Given every data assumption has its own pros and cons in online time series modeling, we propose extbf{On}line extbf{e}nsembling extbf{Net}work (OneNet). It dynamically updates and combines two models, with one focusing on modeling the dependency across the time dimension and the other on cross-variate dependency. Our method incorporates a reinforcement learning-based approach into the traditional online convex programming framework, allowing for the linear combination of the two models with dynamically adjusted weights. OneNet addresses the main shortcoming of classical online learning methods that tend to be slow in adapting to the concept drift. Empirical results show that OneNet reduces online forecasting error by more than $\mathbf{50\%}$ compared to the State-Of-The-Art (SOTA) method. The code is available at \url{https://github.com/yfzhang114/OneNet}.

研究の動機と目的

• オンラインの時系列予測における概念シフトに対処する。
• temporal と cross-variable の依存関係を捉える二系統のオンラインアンサンブルを提案する。
• オンライン凸計画ブロックを開発し、強化学習でアンサンブルメンバーの重みを動的に調整する。
• 複数データセットとベースラインでロバスト性と性能向上を示す。

提案手法

• Two-stream online forecasters: one modeling temporal (cross-time) dependencies and one modeling cross-variable dependencies (cross-variable).
• Online Convex Programming (OCP) block combines expert forecasts with weights updated by Exponentiated Gradient Descent for long-term adaptation and offline reinforcement learning for short-term adaptation.
• Decoupled training: train forecasters separately, while the OCP block learns the ensemble weights to avoid undertraining of weaker branches.
• RL-based short-term weight predictor attends to recent performance and ground-truth outcomes to refine ensembling weights.
• RL and EGD weights are combined to form final per-variable ensemble weights, enabling data-dependent model selection.
• OneNet can be paired with any backbone or online adaptation strategy to boost robustness.

実験結果

リサーチクエスチョン

• RQ1 オンラインのアンサンブルは multivariate time series forecasting における概念シフトをどのように緩和できるか？
• RQ2 temporal と cross-variable の別々のモデリングストリームはシフト下で補完的な利点を提供するか？
• RQ3 RL-informed online convex programming 戦略は古典的な手法よりも速く堅牢な重み適応を提供できるか？
• RQ4 online ensembling の設計選択（正規化、分解、周波数拡張）が概念シフト下のロバスト性にどのような影響を与えるか？

主な発見

• OneNet は SOTA ベ baselines に比べてオンライン予測誤差を大幅に低減する（例: 四つのデータセットでの MSE/MAE の低減）。
• クロス-タイムとクロス変数の二系統アンサンブルに RL-informed 重み付けを組み合わせた構成は、単一モデルのベースラインや単純なエンセリング手法を上回る。
• RL-enhanced OCP ブロックは長期の履歴と短期適応のバランスを効果的に取り、概念シフトへの応答性を向上させる。
• 別訓練により両方の予測器が時間をかけて適切に訓練され、相補的な強みを保持する。
• アブレーション研究は、提案設計選択（例: アンサンブル重み付け戦略）がロバスト性と精度に大きく影響することを示す。
• パラメータ数が少ない OneNet バリアントでも、難易度の高いデータセットで従来の SOTA より上回る。