[論文レビュー] A Systematic Review for Transformer-based Long-term Series Forecasting

Liyilei Su, Xumin Zuo+4 more|arXiv (Cornell University)|Oct 31, 2023

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本システマティックレビューは、長期間時系列予測（LTSF）のためのTransformerベースのモデルを包括的に分析し、アーキテクチャの変種、ベンチマークデータセット、評価指標、トレーニングのベストプラクティスをカバーする。主な設計パターンと新たな研究動向を同定し、Transformerを用いた長予測幅予測分野における今後の研究の構造的基盤を提供する。

ABSTRACT

The emergence of deep learning has yielded noteworthy advancements in time series forecasting (TSF). Transformer architectures, in particular, have witnessed broad utilization and adoption in TSF tasks. Transformers have proven to be the most successful solution to extract the semantic correlations among the elements within a long sequence. Various variants have enabled transformer architecture to effectively handle long-term time series forecasting (LTSF) tasks. In this article, we first present a comprehensive overview of transformer architectures and their subsequent enhancements developed to address various LTSF tasks. Then, we summarize the publicly available LTSF datasets and relevant evaluation metrics. Furthermore, we provide valuable insights into the best practices and techniques for effectively training transformers in the context of time-series analysis. Lastly, we propose potential research directions in this rapidly evolving field.

研究の動機と目的

• 長期間時系列予測（LTSF）を目的としたTransformerアーキテクチャおよびその変種について、包括的な概要を提供すること。
• 分野で使用されている公開可能なLTSFデータセットおよび標準的な評価指標を要約すること。
• 時系列データに対してTransformerを効果的にトレーニングするためのベストプラクティスを抽出すること。
• 現在のLTSFにおける主な限界と有望な研究動向を特定し、それらを議論すること。

提案手法

• 2017年から2023年までの長期間時系列予測（LTSF）におけるTransformerベースのアプローチに関するシステマティックレビュー。
• アテンションメカニズム、位置エンコーディング、シーケンスモデリング戦略に基づいて、Transformerの変種を分類すること。
• 20個以上の公開済みLTSFデータセットの収集と特性分析。
• 研究間で共通する評価プロトコル、指標（例：MAE、RMSE、MAPE）、および標準ベースラインの統合と分析。
• モデルの汎化性能を向上させるためのトレーニング技術（例：入力トークン化、損失関数、正則化戦略）の同定。
• 長距離依存性のモデリングや計算効率性といった特定のLTSF課題に適したアーキテクチャ的革新のマッピング。

実験結果

リサーチクエスチョン

• RQ1 長期間時系列予測に用いられる主要なTransformerアーキテクチャとその主な改良点は何か？
• RQ2 LTSF研究で最も一般的に使用されているデータセットと評価指標は何か？また、それらはモデル性能の比較にどのように影響を与えるか？
• RQ3 TransformerベースのLTSFモデルにおける汎化性能とロバストネスを向上させるために、どのようなトレーニング技術とハイパーパrameter設定が有効か？
• RQ4 現在のTransformerベースのLTSFアプローチにおける主な制限要因と未解決の課題は何か？
• RQ5 Transformerを用いた長期間予測を進歩させるために、最も有望な今後の研究動向は何か？

主な発見

• LTSF向けに多様なTransformer変種が登場しており、Informer、Autoformer、Temporal Fusion Transformerなどの手法がベンチマークデータセットで最先端の性能を達成している。
• 最も広く使用されているデータセットにはETTh1、ETTh2、ECL、Weatherが含まれており、特にETTh1とETTh2は長予測幅予測タスクで最も頻繁に引用されている。
• MAEやRMSEといった評価指標は一貫して使用されているが、研究間で予測幅の設定やデータ分割方法に標準化が不十分である。
• ベストプラクティスには、相対的位置エンコーディングの使用、スパースアテンションメカニズムの採用、分離型トークン化の適用が含まれ、長シーケンスモデリングとトレーニング安定性の向上に寄与する。
• 進展は見られるが、ドメイン間でのモデルの汎化性、非常に長いシーケンスにおける計算効率性、アテンションパターンの解釈可能性といった課題は依然として残っている。
• 今後の研究動向として、ハイブリッドアーキテクチャ、自己教師付き事前学習、長距離依存性に適した改善されたアテンションメカニズムの開発が挙げられる。