[論文レビュー] Mixture-of-Linear-Experts for Long-term Time Series Forecasting

Ronghao Ni, Zinan Lin+2 more|arXiv (Cornell University)|Dec 11, 2023

Hydrological Forecasting Using AI被引用数 7

ひとこと要約

MoLEは線形中心のLTSFモデルを拡張し、時間開始埋め込みに基づいて複数の線形予測子を適応的に重み付けする混合専門家ルータを用い、さまざまなデータセットで予測精度を向上させる。

ABSTRACT

Long-term time series forecasting (LTSF) aims to predict future values of a time series given the past values. The current state-of-the-art (SOTA) on this problem is attained in some cases by linear-centric models, which primarily feature a linear mapping layer. However, due to their inherent simplicity, they are not able to adapt their prediction rules to periodic changes in time series patterns. To address this challenge, we propose a Mixture-of-Experts-style augmentation for linear-centric models and propose Mixture-of-Linear-Experts (MoLE). Instead of training a single model, MoLE trains multiple linear-centric models (i.e., experts) and a router model that weighs and mixes their outputs. While the entire framework is trained end-to-end, each expert learns to specialize in a specific temporal pattern, and the router model learns to compose the experts adaptively. Experiments show that MoLE reduces forecasting error of linear-centric models, including DLinear, RLinear, and RMLP, in over 78% of the datasets and settings we evaluated. By using MoLE existing linear-centric models can achieve SOTA LTSF results in 68% of the experiments that PatchTST reports and we compare to, whereas existing single-head linear-centric models achieve SOTA results in only 25% of cases.

研究の動機と目的

• 長期予測における非定常な時系列パターンのより良い取り扱いの必要性を動機づける。
• 線形中心のLTSFモデルのプラグイン型混合専門家拡張としてMoLEを導入する。
• MoLEが複数のデータセットとベースライン線形モデルにわたり予測精度を改善することを示す。
• gains はモデルサイズだけでなく時刻情報に基づく専門家の特化から生じることを示すアブレーションを提供する。

提案手法

• 任意の線形中心のLTSFモデルにMoLEを組み込み、複数の専門家ヘッドとチャネル単位のルータを作成する。
• ルータは2層MLPを用いて、最初の時刻の埋め込みからチャネルごとの重みを生成する。
• 専門家の出力をチャネルごとの加重和と後処理層で結合し、最終予測を生成する。
• 時系列特徴を日時類似の埋め込みに埋め込み、単純な正規化を適用する。
• Backboneとして DLinear、RLinear、RMLP を用い、シングルヘッド対マルチヘッドのMoLEバリエーションを比較する。
• TimeIn、RandomIn、RandomOut を含むアブレーションを実施し、タイムスタンプ条件付けと乱数の役割を評価する。

実験結果

リサーチクエスチョン

• RQ1 Mixture-of-Linear-Experts は線形中心のLTSFモデルに適用すると長期予測精度を改善できるか？
• RQ2 ミキサーを最初のタイムスタンプ埋め込みで条件付けることは、モデル容量の増大を超える利得をもたらすか？
• RQ3 MoLE の性能はデータセット、予測区間、入力シーケンス長によってどう変化するか？
• RQ4 利得は主に時間認識された専門家の特化によるもので、単なるパラメータ増加によるものではないか？
• RQ5 ハイパーパラメータ（ヘッド数、ドロップアウト、バッチサイズ）がMoLEの性能に与える影響は？

主な発見

• MoLEはDLinearの予測誤差を32/44設定で改善（73%）。
• MoLEはRLinearの予測誤差を38/44設定で改善（86%）。
• MoLEはRMLPの予測誤差を33/44設定で改善（75%）。
• Weather2K全設定で、MoLE線形モデルは全ての評価設定で最先端を達成。
• 全体として、MoLEにより線形中心のモデルがPatchTST報告設定のSOTAへ達する割合が68%（シングルヘッドベースラインの25%に対して）まで向上。
• アブレーションは、時刻依存の専門家による特化から gains が生じ、入力長が予測長に対して短い場合に大きな利得が生じることを示す。