[論文レビュー] Transformers in Time Series: A Survey

Qingsong Wen, Tian Zhou+5 more|arXiv (Cornell University)|Feb 15, 2022

Time Series Analysis and Forecasting被引用数 61

ひとこと要約

時間シリーズのTransformerベース手法の包括的な調査で、ネットワーク適用の適応、応用分野（予測、異常検知、分類）、実証的分析、今後の方向性を詳述する。

ABSTRACT

Transformers have achieved superior performances in many tasks in natural language processing and computer vision, which also triggered great interest in the time series community. Among multiple advantages of Transformers, the ability to capture long-range dependencies and interactions is especially attractive for time series modeling, leading to exciting progress in various time series applications. In this paper, we systematically review Transformer schemes for time series modeling by highlighting their strengths as well as limitations. In particular, we examine the development of time series Transformers in two perspectives. From the perspective of network structure, we summarize the adaptations and modifications that have been made to Transformers in order to accommodate the challenges in time series analysis. From the perspective of applications, we categorize time series Transformers based on common tasks including forecasting, anomaly detection, and classification. Empirically, we perform robust analysis, model size analysis, and seasonal-trend decomposition analysis to study how Transformers perform in time series. Finally, we discuss and suggest future directions to provide useful research guidance. To the best of our knowledge, this paper is the first work to comprehensively and systematically summarize the recent advances of Transformers for modeling time series data. We hope this survey will ignite further research interests in time series Transformers.

研究の動機と目的

• 時系列データにおける長距離依存性を捉えるためにTransformerの活用を動機付ける。
• 時系列モデリングのために行われたネットワークレベルの適応とアーキテクチャの変更を要約する。
• 予測、異常検知、分類タスクに基づいてTransformerベースの手法を分類する。
• ロバスト性、モデルサイズ、季節性・トレンド分解の影響に関する経験的知見を提供する。
• 時系列Transformerの未解決の課題と今後の方向性を強調する。

提案手法

• ベーシックなTransformerの予備知識と位置エンコーディング戦略を提示する。
• 時系列向けのアテンションモジュール、効率化戦略、アーキテクチャレベルの革新を論じる。
• ネットワーク変更とアプリケーションに基づく分類を提供する。
• 予測、異常検知、分類のためのモジュールレベルおよびアーキテクチャレベルのバリエーションを調査する。
• 入力長、モデルサイズ、季節性・トレンド分解に対するロバスト性の経験的分析を行う。
• 実践的なガイドラインと今後の研究方向を要約する。

実験結果

リサーチクエスチョン

• RQ1 時系列の依存関係と季節性を効果的にモデル化する主なTransformer適応は何か？
• RQ2 予測、異常検知、分類タスクにおけるTransformerベースの時系列モデルの性能とロバスト性/サイズのトレードオフはどうか？
• RQ3 将来の方向性として、時系列Transformerをさらに改善する可能性のある方向性（帰納的バイアス、GNN統合、事前学習、アーキテクチャのバリエーション）は何か？

主な発見

• Transformerベースの時系列モデルは、予測、異常検知、分類のための長距離依存関係のモデリングに有利である。
• 効率志向のアテンション（スパース/低ランク）と多解像度または階層的なアーキテクチャは、長い系列の処理を改善する。
• 季節性・トレンド分解は予測性能を著しく向上させる可能性がある（報告された実験で50%-80%）。
• モデルサイズと深さが常に予測結果を改善するとは限らない。中規模の構成が非常に深いものより優れることがある。
• 時系列の事前学習はあまり検討されておらず潜在能力はあるがまだ初期段階である。
• TransformerとGNNを組み合わせ、時系列に特化した帰納的バイアスを組み込むと性能が向上する。