[論文レビュー] Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence Case

Neo Wu, Bradley Green+2 more|arXiv (Cornell University)|Jan 23, 2020

Anomaly Detection Techniques and Applications参考文献 21被引用数 349

ひとこと要約

本論文は、時系列予測のためのTransformerベースのアプローチを導入し、インフルエンザ様疾患ILIデータで評価し、ARIMA、LSTM、Seq2Seqモデルと比較し、競争力のあるまたは優れた性能を示します。

ABSTRACT

In this paper, we present a new approach to time series forecasting. Time series data are prevalent in many scientific and engineering disciplines. Time series forecasting is a crucial task in modeling time series data, and is an important area of machine learning. In this work we developed a novel method that employs Transformer-based machine learning models to forecast time series data. This approach works by leveraging self-attention mechanisms to learn complex patterns and dynamics from time series data. Moreover, it is a generic framework and can be applied to univariate and multivariate time series data, as well as time series embeddings. Using influenza-like illness (ILI) forecasting as a case study, we show that the forecasting results produced by our approach are favorably comparable to the state-of-the-art.

研究の動機と目的

• 保健監視と疾病監視における時系列予測を重要なタスクとして動機づける。
• 単変量および多変量時系列予測のための一般的なTransformerベースのフレームワークを提案する。
• 埋め込みを通じて、観測データと位相空間ダイナミクスの両方をモデル化できるTransformerを示す。
• ILI予測でのパフォーマンスを確立するためにARIMA、LSTM、Seq2Seqとベンチマークする。

提案手法

• エンコーダとデコーダを備えたTransformerアーキテクチャを用いて多ステップ先行ILI比を予測する。
• 入力マッピングは密結合層（dense layer）と位置エンコーディングおよび4層のエンコーダ/デコーダを経由。
• 10ステップの入力ウィンドウからの4-step予測でlook-aheadマスキングとカスタム学習率スケジュールを用いて訓練。
• Pearson相関とRMSEを用いて評価し、ARIMA、LSTM、Seq2Seqベースラインと比較。
• 位相空間情報を捉えるための時間遅延埋め込み（TDE）を用いて、性能への影響を評価。

実験結果

リサーチクエスチョン

• RQ1 公式CDCデータ上でTransformerベースのモデルは最先端ILI予測法と同等または上回ることができるか？
• RQ2 週間番号、一次/二次差分などの多変量特徴を組み込むと、ILIのTransformer予測は改善するか？
• RQ3 データの位相空間構造を捉えることでTDEはTransformerの性能を高め得るか？
• RQ4 1ステップ先のILI予測において、注意機構を備えたARIMA、LSTM、Seq2SeqとTransformerの比較は？
• RQ5 US州をまたぐ国レベルのILI予測に対して、単一のグローバルTransformerモデルは一般化可能か？

主な発見

モデル	Pearson相関	RMSE
ARIMA	0.769	1.020
LSTM	0.924	0.807
Seq2Seq+attn	0.920	0.642
Transformer	0.928	0.588

• Transformerベースの予測は高い相関（例：USレベル0.984）と低いRMSE（0.3318）を達成し、一歩先予測ILIで。
• Transformerは一般にARIMAより相関とRMSEで優れ、LSTMおよびSeq2Seq+attentionをRMSEで上回る。
• 週間番号と差分特徴を含めると控えめな改善が得られ、自己注意が追加特徴なしで依存関係を捉えることを示唆。
• 最適次元数8の時間遅延埋め込み（TDE）は、スカラー入力と比べて同等かわずかに改善した性能を提供。
• ARGONetと比較して、Transformerは状態全体で平均的に同等かわずかに良い相関とRMSEを達成。
• 連結した州データで学習した単一のグローバルTransformerモデルは国レベルの予測へ一般化できる。