[論文レビュー] Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures

Tianping Zhang, Yizhuo Zhang+5 more|arXiv (Cornell University)|Jul 4, 2022

Time Series Analysis and Forecasting被引用数 88

ひとこと要約

LightTSは、連続サンプリングと間隔サンプリングを用いて多変量時系列の短期・長期パターンを捉える軽量なMLPベースのモデルを提示し、はるかに少ないFLOPSで最先端または競争力のある結果と安定したロバスト性を達成します。

ABSTRACT

Multivariate time series forecasting has seen widely ranging applications in various domains, including finance, traffic, energy, and healthcare. To capture the sophisticated temporal patterns, plenty of research studies designed complex neural network architectures based on many variants of RNNs, GNNs, and Transformers. However, complex models are often computationally expensive and thus face a severe challenge in training and inference efficiency when applied to large-scale real-world datasets. In this paper, we introduce LightTS, a light deep learning architecture merely based on simple MLP-based structures. The key idea of LightTS is to apply an MLP-based structure on top of two delicate down-sampling strategies, including interval sampling and continuous sampling, inspired by a crucial fact that down-sampling time series often preserves the majority of its information. We conduct extensive experiments on eight widely used benchmark datasets. Compared with the existing state-of-the-art methods, LightTS demonstrates better performance on five of them and comparable performance on the rest. Moreover, LightTS is highly efficient. It uses less than 5% FLOPS compared with previous SOTA methods on the largest benchmark dataset. In addition, LightTS is robust and has a much smaller variance in forecasting accuracy than previous SOTA methods in long sequence forecasting tasks.

研究の動機と目的

• シンプルで軽量なモデルが多変量時系列予測において複雑なアーキテクチャに匹敵できるかを動機づける。
• 情報を保持しつつ入力長を縮小する2つのダウンサンプリング戦略を導入する。
• ダウンサンプリングされたサブシーケンスと変数間で情報を交換するMLPベースのアーキテクチャを開発する。
• 複数のベンチマークでLightTSの効率性、ロバスト性、および予測精度を示す。）

提案手法

• トークンを捨てずに各時系列を非重複のサブシーケンスに分割するために、連続サンプリングと間隔サンプリングを適用する。
• 特徴抽出と系列間相互作用のためにボトルネック設計を備えたInformation Exchange Blocks (IEBlocks) を使用して、時間方向およびチャネル方向の射影を行う。
• 両方のサンプリング経路および変数間の特徴を組み合わせて、3つ目のIEBlockを介して最終予測を形成する。
• 長いシーケンスを効率的に処理する軽量なアーキテクチャでエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 軽量ダウンサンプリングを用いた純粋なMLPベースのモデルは、多変量時系列予測において最先端手法と同等かそれ以上を達成できるか？
• RQ2 連続サンプリングと間隔サンプリングは、効率性を改善しつつ短期および長期パターンの効果的な把握を可能にするか？
• RQ3 LightTSは、多様なデータセットにわたる長い入力シーケンスに対して堅牢でスケーラブルか？

主な発見

• LightTSは8つのベンチマークデータセットで最先端または競争力のある結果を達成し、長いシーケンス予測でいくつかのベースラインを上回る。
• LightTSは最大のベンチマークデータセットで従来のSOTA手法のFLOPSの5%未満を必要とする。
• LightTSは複数の設定で強力なベースラインよりもエポックあたりの訓練が大幅に高速である。
• LightTSはシード間の予測精度の分散が低く、長いシーケンスタスクに対するロバスト性が向上していることを示す。