[論文レビュー] A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting

Zanwei Zhou, Ruizhe Zhong+4 more|arXiv (Cornell University)|Dec 6, 2022

Time Series Analysis and Forecasting被引用数 8

ひとこと要約

本稿では、MTSF Transformerにおける標準的な時刻ポイントトークナイゼーションが、自己注意機構のトークン均一性へのインダクティブバイアスに起因して過剰平滑化を引き起こすことを特定している。時間変数トークナイゼーション（TVT）に切り替え、デコーダーを単一の線形層に簡素化することで、構造的単純さにもかかわらず5つのベンチマークで最先端モデルを上回る長期予測性能を達成した。

ABSTRACT

Multivariate time series forecasting (MTSF) is a fundamental problem in numerous real-world applications. Recently, Transformer has become the de facto solution for MTSF, especially for the long-term cases. However, except for the one forward operation, the basic configurations in existing MTSF Transformer architectures were barely carefully verified. In this study, we point out that the current tokenization strategy in MTSF Transformer architectures ignores the token uniformity inductive bias of Transformers. Therefore, the vanilla MTSF transformer struggles to capture details in time series and presents inferior performance. Based on this observation, we make a series of evolution on the basic architecture of the vanilla MTSF transformer. We vary the flawed tokenization strategy, along with the decoder structure and embeddings. Surprisingly, the evolved simple transformer architecture is highly effective, which successfully avoids the over-smoothing phenomena in the vanilla MTSF transformer, achieves a more detailed and accurate prediction, and even substantially outperforms the state-of-the-art Transformers that are well-designed for MTSF.

研究の動機と目的

• vanilla MTSF Transformerにおける性能低下の根本的原因、特に長期予測における過剰平滑化の原因を解明すること。
• 時系列モデリングにおける自己注意機構のトークン均一性へのインダクティブバイアスに及ぼすトークナイゼーション戦略の影響を分析すること。
• トークナイゼーション、埋め込み、デコーダー構造を再考することで、MTSF用にTransformerアーキテクチャを再設計し、過剰平滑化を軽減すること。
• 時間変数トークナイゼーション（TVT）と線形デコーダーを備えた単純なアーキテクチャが、複雑に設計された最先端のTransformerを上回ることを実証すること。

提案手法

• 従来の時刻ポイントトークナイゼーション（TPT）を時間変数トークナイゼーション（TVT）に置き換え、各変数を別個のトークンとして扱い、インダクティブバイアスを時間次元から変数次元にシフトする。
• TVTに適合するよう位置埋め込みを再設計し、変数間での時間的関係が保持されるようにする。
• 標準的なTransformerデコーダーを単一の線形層に置き換え、余分な注意計算を排除し、過学習を低減する。
• LogSparseやInformerと同様に、1回の順伝播による推論戦略を採用し、自己回帰的誤差蓄積を回避する。
• 標準的なベンチマークで標準的なMTSF損失関数を用いて、エンドツーエンドでモデルを訓練する。
• 予測値と真値シーケンス間のユークリッド距離類似度マップを用いて、トークン均一性を評価し、過剰平滑化の度合を定量化する。

実験結果

リサーチクエスチョン

• RQ1 MTSF Transformerにおける標準的な時刻ポイントトークナイゼーション戦略は、自己注意機構のトークン均一性へのインダクティブバイアスに起因して過剰平滑化を引き起こすか？
• RQ2 時刻ポイントではなく変数に焦点を当てたトークナイゼーションの再定義により、過剰平滑化が軽減され、予測精度が向上するか？
• RQ3 単一の線形層で構成される簡素化されたデコーダーは、複雑な注意機構を備えたデコーダーを凌駕するのに十分か？
• RQ4 提案されたTVTベースのアーキテクチャは、最先端のMTSF Transformerと比較して、予測精度および一般化性能において優れているか？

主な発見

• 時刻ポイントトークナイゼーション（TPT）戦略は、予測において強い一貫したトークン均一性を生じさせ、真値データに見られる変数および時間に依存する均一性とは乖離している。
• TVTベースのモデルは、時系列の高周波成分をよりよく保持しており、TPTモデルと比較して過剰平滑化が少ない予測結果を達成している。
• 線形デコーダーを備えたTVTベースのTransformerは、5つの標準ベンチマークで優れた性能を発揮し、大多数のケースで最先端モデルを上回った。
• TVTモデルは過学習が少ないことが、訓練およびテストセットにおける時刻ポイントトークン均一性曲線が真値に近い位置に保たれていることで裏付けられている。
• 簡素化されたデコーダー設計は顕著な性能向上をもたらし、長期的予測において複雑な注意機構が必須でないことが示唆された。
• 提案されたアーキテクチャは極めて単純な構造で高い性能を達成しており、MTSF Transformer設計における複雑化の傾向に疑問を呈するものとなった。