[論文レビュー] Long-term Forecasting with TiDE: Time-series Dense Encoder

Abhimanyu Das, Weihao Kong+4 more|arXiv (Cornell University)|Apr 17, 2023

Neural Networks and Applications被引用数 157

ひとこと要約

TiDEは、共変量を扱う長期予測のためのMLPベースのエンコーダ-デコーダを提示し、Transformersと競合する精度を達成し、はるかに高速です。将来の共変量を取り込むための線形残差接続と時系列デコーダを含みます。

ABSTRACT

Recent work has shown that simple linear models can outperform several Transformer based approaches in long term time-series forecasting. Motivated by this, we propose a Multi-layer Perceptron (MLP) based encoder-decoder model, Time-series Dense Encoder (TiDE), for long-term time-series forecasting that enjoys the simplicity and speed of linear models while also being able to handle covariates and non-linear dependencies. Theoretically, we prove that the simplest linear analogue of our model can achieve near optimal error rate for linear dynamical systems (LDS) under some assumptions. Empirically, we show that our method can match or outperform prior approaches on popular long-term time-series forecasting benchmarks while being 5-10x faster than the best Transformer based model.

研究の動機と目的

• 共変量を含む多変量時系列における長期的な正確な予測の必要性を動機づける。
• 自己注意機構と再帰を回避する、シンプルでかつ効果的なMLPベースのエンコーダ-デコーダアーキテクチャ（TiDE）を提案する。
• 線形ダイナミクス系に対してほぼ最適な誤差率を示す線形アナログの理論分析を行う。
• 標準ベンチマークでTiDEを最先端のTransformerベースおよび線形モデルと経験的に比較する。
• 競合的な精度を維持しつつ、訓練と推論の効率を向上させることを実証する。

提案手法

• TiDEは、動的共変量の次元を削減する特徴射影ステップの後に密なMLPエンコーダを用いて過去の観測値と共変量をエンコードする。
• 密なMLPデコーダが時間 horizon に特化した表現を生成し、それに続く時系列デコーダがこれらの表現と将来の共変量を統合して予測を生成する。
• 見返しからホライズンへのグローバルな線形残差接続を追加し、線形モデルがTiDEのサブクラスになるようにする。
• TemporalDecoderのハイパーパラメータは、ホライズンステップの処理に使用する隠れ層サイズを制御する。
• 訓練は、標準化された look-back/horizon セットアップで、MSE損失を用いたミニバッチ勾配降下法とローリング評価を使用する。

Figure 1 : Overview of TiDE architecture. The dynamic covariates per time-point are mapped to a lower dimensional space using a feature projection step. Then the encoder combines the look-back along with the projected covariates with the static attributes to form an encoding. The decoder maps this e

実験結果

リサーチクエスチョン

• RQ1 TiDE（MLPベースのDense Encoder）は、長期ホライズンの多変量予測ベンチマークでTransformerベースのアプローチと同等かそれ以上に適用できるだろうか？
• RQ2 動的および静的な共変量が利用可能な場合、TiDEの性能はどうなるか、自己注意なしでそれらを効果的に活用できるか？
• RQ3 合理的なスペクトル条件の下で、TiDEの線形アナログは線形ダイナミクス系に対してほぼ最適な誤差を達成するか？
• RQ4 標準データセット全体で、TiDEとTransformerベースのモデルの精度、訓練時間、推論時間の実務的なトレードオフは何か？

主な発見

• TiDEは、人気のある長期予測ベンチマークで、最先端のTransformerベースモデルと比較して同等または優れたMSEを達成する。
• TiDEは、Trafficのような大規模データセットでは、推論が5倍、訓練が10倍以上高速である。
• 時系列デコーダを介して将来の共変量を取り込むことで、特定のホライズンステップで共変量が直接影響を持つ場合に特に実用的な向上を提供します。
• TiDEの線形アナログは線形ダイナミクス系にとってほぼ最適であり、長期設定における単純な線形/バイアス有効アーキテクチャの有効性を理論的に裏付ける。
• TiDEは動的共変量と静的属性の両方を効果的に処理し、共変量を使用する場合にM5需要予測ベンチマークでベースラインを上回る。

(a) Inference time per batch in microseconds