[論文レビュー] TSMixer: An All-MLP Architecture for Time Series Forecasting

Sian Chen, Chunliang Li+3 more|arXiv (Cornell University)|Mar 10, 2023

Time Series Analysis and Forecasting被引用数 119

ひとこと要約

TSMixer は、時系列の多変量予測を行うために時刻混合（time-mixing）と特徴混合（feature-mixing）ブロックを交互に配置する全MLPアーキテクチャを提案し、標準ベンチマークで競争力のある結果を達成し、cross-variate 情報および補助情報を活用することにより大規模な M5 データで最先端の性能を達成する。

ABSTRACT

Real-world time-series datasets are often multivariate with complex dynamics. To capture this complexity, high capacity architectures like recurrent- or attention-based sequential deep learning models have become popular. However, recent work demonstrates that simple univariate linear models can outperform such deep learning models on several commonly used academic benchmarks. Extending them, in this paper, we investigate the capabilities of linear models for time-series forecasting and present Time-Series Mixer (TSMixer), a novel architecture designed by stacking multi-layer perceptrons (MLPs). TSMixer is based on mixing operations along both the time and feature dimensions to extract information efficiently. On popular academic benchmarks, the simple-to-implement TSMixer is comparable to specialized state-of-the-art models that leverage the inductive biases of specific benchmarks. On the challenging and large scale M5 benchmark, a real-world retail dataset, TSMixer demonstrates superior performance compared to the state-of-the-art alternatives. Our results underline the importance of efficiently utilizing cross-variate and auxiliary information for improving the performance of time series forecasting. We present various analyses to shed light into the capabilities of TSMixer. The design paradigms utilized in TSMixer are expected to open new horizons for deep learning-based time series forecasting. The implementation is available at https://github.com/google-research/google-research/tree/master/tsmixer

研究の動機と目的

• 共通のベンチマークにおいて cross-variate 情報が時系列予測に有用かを評価する。
• 時系列パターンと cross-variate 相互作用を捉える、軽量でスケーラブルな全MLPアーキテクチャを開発する。
• 補助情報（静的特徴量と未来時点特徴量）を組み込む拡張を検討する。
• 長期予測データセットに対して、最先端の多変量モデルおよび単変量モデルと比較する。

提案手法

• Time-Series Mixer (TSMixer) を、時間混合と特徴混合を交互に行うMLPで導入する。
• 時間混合MLPは特徴量間で共有され、時系列パターンをモデル化する；特徴混合MLPは時間ステップ間で共有され、共変量情報を活用する。
• 入力長 L を予測長 T にマッピングする時系列投影を用いて、時系列学習を可能にする。
• 安定した学習のために、残差接続と時間・特徴次元にまたがる 2D 正規化を組み込む。
• クロス-variate 混合の影響を分離するために、時間混合のみの variant TMix-Only を提供する。
• 入力を共通の形状に揃え、結合特徴量に対して混合を適用することで、静的特徴量と未来時変化特徴量といった補助情報に対して TSMixer を拡張する。

Figure 1: TSMixer for multivariate time series forecasting. The columns of the inputs means different features/variates and the rows are time steps. The fully-connected operations are row-wise. TSMixer contains interleaving time-mixing and feature-mixing MLPs to aggregate information. The number of

実験結果

リサーチクエスチョン

• RQ1 標準的なベンチマークにおいて、cross-variate 情報は時系列予測に信頼できる利益をもたらすだろうか？
• RQ2 全MLPミキサーアーキテクチャは単変量モデルに匹敵し、長期予測で多変量 Transformer ベースのモデルを上回ることができるか？
• RQ3 より長いルックバックウィンドウや大規模データセットに対して、TSMixer はどのようにスケールするか？
• RQ4 TSMixer は静的特徴量や未来時点特徴量といった補助情報を効果的に活用できるか？

主な発見

• TSMixer は最先端の単変量モデルと競合し、一般的な長期予測ベンチマークで他の多変量モデルを大きく上回る。
• 大規模な M5 小売データでは、cross-variate 情報が有意な改善をもたらし、TSMixer は補助情報を効果的に活用する。
• TMix-Only（時間混合のみ）は PatchTST と比較可能な性能を示し、これらのベンチマークには必ずしも cross-variate 混合が必要でないことを示唆している。
• TSMixer は長いルックバック ウィンドウを多変量 Transformer ベースのモデルよりも効果的に活用でき、長いシーケンスでの一般化の改善と過学習の減少を示す。
• 補助情報（静的特徴量と未来特徴量）への拡張は強い性能を示し、M5設定で DeepAR や TFT のような産業ベースラインをしばしば上回る。

Figure 3: The architecture of TMix-Only. It is similar to TSMixer but only applies time-mixing.