[論文レビュー] A Time Series is Worth 64 Words: Long-term Forecasting with Transformers

Yuqi Nie, Nam Hoai Nguyen+2 more|arXiv (Cornell University)|Nov 27, 2022

Time Series Analysis and Forecasting被引用数 534

ひとこと要約

PatchTST は、時系列のパッチ適用と Transformer モデルのチャネル独立性を導入し、長期予測と multivariate time series の自己教師あり表現学習を改善します。

ABSTRACT

We propose an efficient design of Transformer-based models for multivariate time series forecasting and self-supervised representation learning. It is based on two key components: (i) segmentation of time series into subseries-level patches which are served as input tokens to Transformer; (ii) channel-independence where each channel contains a single univariate time series that shares the same embedding and Transformer weights across all the series. Patching design naturally has three-fold benefit: local semantic information is retained in the embedding; computation and memory usage of the attention maps are quadratically reduced given the same look-back window; and the model can attend longer history. Our channel-independent patch time series Transformer (PatchTST) can improve the long-term forecasting accuracy significantly when compared with that of SOTA Transformer-based models. We also apply our model to self-supervised pre-training tasks and attain excellent fine-tuning performance, which outperforms supervised training on large datasets. Transferring of masked pre-trained representation on one dataset to others also produces SOTA forecasting accuracy. Code is available at: https://github.com/yuqinie98/PatchTST.

研究の動機と目的

• Transformer アーキテクチャを用いた多変量時系列の長期予測精度向上を動機づける。
• パッチ化によって入力トークンを削減することによる効率性とメモリ利得を探る。
• シリーズチャネル間での重み共有戦略としてのチャネル独立性を検討する。
• パッチレベルのマスキングによる自己教師あり表現学習と転移学習機能を実証する。

提案手法

• 多変量時系列をチャネルごとに埋め込みと Transformer 重みを共有する単一変量系列に分割する（チャネル独立性）。
• 各単変量系列をパッチに分割して入力トークンを形成し、注意機構の複雑さを O(N^2) から O((L/S)^2) に似た挙動へ削減する。
• パッチベースの埋め込みと位置エンコーディングを用いた基本的な Transformer エンコーダを用いて将来値を予測する。
• パッチ適用前に時系列ごとにインスタンス正規化を適用して分布を安定化させる。
• チャネル間で MSE 損失を用いて訓練し、マルチステップ予測を出力する融合ヘッドを用いる。
• 自己教師あり学習のため、パッチの一部をマスクして再構成するようモデルを訓練する（予測ヘッドは不要）。
• 転移学習シナリオを含む監督あり予測と自己教師あり事前学習の両方を評価する。

実験結果

リサーチクエスチョン

• RQ1 パッチベースのトークン化は、時系列トランスフォーマーにおける点ごとのトークンと比べて情報保持と予測精度を改善するか？
• RQ2 チャネル独立性（各チャネルのトークンで共有重み）を強制することは、多変量系列のスケーラビリティと性能を改善するか？
• RQ3 自己教師あり PatchTST 表現はデータセット間で転移可能で、教師ありベースラインや他の Transformer ベースモデルを上回るか？
• RQ4 より長いルックバックウィンドウはパッチ適用とどのように相互作用し、予測精度と効率に影響を与えるか？

主な発見

• PatchTST は複数のデータセットで最先端の Transformer ベースラインに対して顕著な精度向上を達成し、PatchTST/64 が最良の Transformer ベースラインに対して MSE 減少率最大で 21.0%、MAE 減少率最大で 16.7% の改善を示す。
• パッチ適用は入力トークン数とアテンションのメモリ/計算を削減し、長いルックバックウィンドウの使用を可能にして予測を改善する（例: L を 96 から 336 に増やすと MSE が 0.518 から 0.397 に改善）。
• パッチ適用と組み合わせたチャネル独立性は、複数のデータセットに渡って性能向上とスケーラブルなアーキテクチャに寄与する。
• 自己教師あり PatchTST は最先端の表現学習と転移学習性能をもたらし、しばしば大規模データセットでの教師あり学習を上回る。
• 一つのデータセットで事前学習を行い、他のデータセットへ表現を微調整または転移することで、ゼロから学習する場合と比べて予測精度を維持または向上させることができる。