[論文レビュー] A Survey of Deep Learning and Foundation Models for Time Series Forecasting

John A. Miller, Mohammed S. Al‐Dosari+5 more|arXiv (Cornell University)|Jan 25, 2024

Advanced Text Analysis Techniques被引用数 21

ひとこと要約

時系列予測の深層学習、トランスフォーマー、基盤モデル、知識ベースアプローチの包括的調査。パンデミック予測と知識グラフ、LLMs、事前学習の統合に焦点。

ABSTRACT

Deep Learning has been successfully applied to many application domains, yet its advantages have been slow to emerge for time series forecasting. For example, in the well-known Makridakis (M) Competitions, hybrids of traditional statistical or machine learning techniques have only recently become the top performers. With the recent architectural advances in deep learning being applied to time series forecasting (e.g., encoder-decoders with attention, transformers, and graph neural networks), deep learning has begun to show significant advantages. Still, in the area of pandemic prediction, there remain challenges for deep learning models: the time series is not long enough for effective training, unawareness of accumulated scientific knowledge, and interpretability of the model. To this end, the development of foundation models (large deep learning models with extensive pre-training) allows models to understand patterns and acquire knowledge that can be applied to new related problems before extensive training data becomes available. Furthermore, there is a vast amount of knowledge available that deep learning models can tap into, including Knowledge Graphs and Large Language Models fine-tuned with scientific domain knowledge. There is ongoing research examining how to utilize or inject such knowledge into deep learning models. In this survey, several state-of-the-art modeling techniques are reviewed, and suggestions for further work are provided.

研究の動機と目的

• 時系列予測手法の古典統計から深層学習と基盤モデルへの進展を評価する。
• エンコーダ-デコーダ、トランスフォーマー、グラフニューラルネットワークのアーキテクチャが時系列データにおける時間的・空間的依存性をどのように捉えるかを検討する。
• 知識グラフや大規模言語モデルなどの知識源が予測モデルをどのように補強できるかを探る。
• パンデミック予測における課題と、理論に基づくデータサイエンスおよび物理情報を用いたアプローチの機会を特定する。
• 今後の研究の方向性とモデル開発・評価に関する実践的な推奨を提供する。

提案手法

• SARIMAX、VAR、LSTM/GRU、エンコーダ-デコーダ、トランスフォーマーに基づくアプローチを含む、歴史的および現代の時系列予測モデルを調査する。
• 多変量時系列における疎 attention、パッチベースのトランスフォーマー、および事前学習/MAE 手法の進歩について論じる。
• 表現学習手法（例：TS2Vec、CoST、FEAT、SimTS）と、それらが予測性能と解釈性に与える影響をレビューする。
• 空間-時系列予測におけるグラフニューラルネットワークの役割を要約し、特に国レベル・州レベルのパンデミックデータでの適用を取り上げる。
• 予測品質、解釈性、科学的根拠の向上のための知識源（知識グラフ、LLMs）の活用を強調する。
• 現在の文献におけるさまざまなモデリング技術の有効性についてメタスタディ的視点を提供する。

Figure 1. Rescaled Plot of Daily Deaths during the Active Pandemic (note the weekly reporting pattern), Hospitalization, and ICU Patients.

実験結果

リサーチクエスチョン

• RQ1 どのモデリング技術が時系列予測の改善を推進しており、それらは従来のベースラインとどう比較されるか。
• RQ2 トランスフォーマー基盤およびグラフベースのアーキテクチャは、パンデミックデータを含む時系列・空間予測タスクでどのように機能するか。
• RQ3 事前学習、パッチ適用、表現学習は予測精度と効率の向上にどのように寄与するか。
• RQ4 知識グラフと大規模言語モデルを統合して、予測品質と解釈性をどのように向上させるか。
• RQ5 基盤モデルにおける主要な課題と今後の方向性は何か。

主な発見

• トランスフォーマーおよび関連の注意機構ベースのアーキテクチャは、特に時間的ダイナミクスの面で時系列予測のトップパフォーマーとして浮上している。
• 疎注意、パッチベースの入力、自己相関技法は計算量を削減し、長期的な予測でトランスフォーマーの性能を向上させることができる。
• 表現学習アプローチ（例：TS2Vec、CoST、FEAT、SimTS）は、予測を支える効果的な潜在表現を提供し、解釈性の向上に寄与する。
• グラフニューラルネットワークは、空間-時間的依存関係を捉えるのに適しており、特に州・国レベルのパンデミックデータに有効である。
• 基盤モデルのアイデアには、事前学習と知識グラフおよびLLMsの活用を含むパンデミックへの備えと解釈性の向上に期待があるが、課題も残る（短い時系列、分布シフト）。
• メタスタディ的視点からは、現在の文献では技術ごとに有効性に差があり、MLベースの手法が最近の反復で古典的な統計手法に対抗・優位になる傾向が見られる。

Figure 3. Percent of Weekly Patient Visits Exhibiting Influenza-Like Illness (ILI): Training (red), Testing (blue), RW (orange)