[論文レビュー] Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook

Ming Jin, Qingsong Wen+13 more|arXiv (Cornell University)|Oct 16, 2023

Time Series Analysis and Forecasting被引用数 35

ひとこと要約

これは、時系列データと時空データに特化した大規模モデルの総合的な調査であり、LM4TSとLM4STDを紹介し、統一的な分類法、リソース、および今後の研究指針を提示します。

ABSTRACT

Temporal data, notably time series and spatio-temporal data, are prevalent in real-world applications. They capture dynamic system measurements and are produced in vast quantities by both physical and virtual sensors. Analyzing these data types is vital to harnessing the rich information they encompass and thus benefits a wide range of downstream tasks. Recent advances in large language and other foundational models have spurred increased use of these models in time series and spatio-temporal data mining. Such methodologies not only enable enhanced pattern recognition and reasoning across diverse domains but also lay the groundwork for artificial general intelligence capable of comprehending and processing common temporal data. In this survey, we offer a comprehensive and up-to-date review of large models tailored (or adapted) for time series and spatio-temporal data, spanning four key facets: data types, model categories, model scopes, and application areas/tasks. Our objective is to equip practitioners with the knowledge to develop applications and further research in this underexplored domain. We primarily categorize the existing literature into two major clusters: large models for time series analysis (LM4TS) and spatio-temporal data mining (LM4STD). On this basis, we further classify research based on model scopes (i.e., general vs. domain-specific) and application areas/tasks. We also provide a comprehensive collection of pertinent resources, including datasets, model assets, and useful tools, categorized by mainstream applications. This survey coalesces the latest strides in large model-centric research on time series and spatio-temporal data, underscoring the solid foundations, current advances, practical applications, abundant resources, and future research opportunities.

研究の動機と目的

• 時系列データおよび時空データの分析における大規模モデルの必要性を定義し、動機づける。
• 統一的な分類法を提供し、LM4TSとLM4STDをモデルタイプ（LLMsとPFMs）、適用範囲（一般対ドメイン特化）、およびタスクで分類する。
• データセット、モデル資産、ツール、および分野横断の実用的な応用を列挙する。
• 進化する分野における将来の研究を指針づけるための課題、ギャップ、および機会を特定する。

提案手法

• 時系列データと時空データに適用された大型言語モデル（LLMs）および事前学習された基盤モデル（PFMs）に関する新興文献をレビュー・統合する。
• データカテゴリとモデル範囲でさらに分類する、LM4TSとLM4STDを分離する統一分類法を提案する。
• データモダリティ（時系列、STG、TKG、ビデオ）を横断する代表的なタスクを要約し、LM4TS/LM4STDフレームワークへ対応づける。
• データセット、実装、評価ベンチマークをリソースガイドとして収集・整理する。
• 大規模時系列モデルの将来の方向性、データ需要、モデルアーキテクチャ、学習/推論パラダイムについて論じる。

実験結果

リサーチクエスチョン

• RQ1 時系列データと時空データ向けの大規模モデル（LM4TSとLM4STD）の主なカテゴリとサブカテゴリは何で、どのように整理されているのか？
• RQ2 LLMsとPFMsは時系列・時空タスクにどのように適応し、汎用的な用途とドメイン特化の用途は何か？
• RQ3 この分野の研究開発を支援するデータセット、ツール、リソースは何が存在するか？
• RQ4 大規模時系列モデルの今後の課題と有望な方向性は何か？

主な発見

• 本論文は、時系列データと時空データ向けの大規模モデルに関する、初の包括的で最新の調査を提供している。
• LM4TSとLM4STDをLLMsとPFMsに整理し、さらに一般 vs ドメイン特化の範囲で分割する統一分類法を導入している。
• 実用的な利用のために、データセット、モデル資産、実装、評価ベンチマークの広範なコレクションを編纂している。
• 時空データ向けPFMsは、時系列中心のPFMsより開発が進んでおり、STGやビデオで顕著な進展が見られる。
• 本調査は、気候、交通、医療、金融などの分野にわたる実用的な応用を強調し、複数の今後の研究機会を概説している。