[논문 리뷰] Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook

Ming Jin, Qingsong Wen외 13명|arXiv (Cornell University)|2023. 10. 16.

Time Series Analysis and Forecasting인용 수 35

한 줄 요약

이 논문은 시계열 및 시공간 데이터에 맞춘 대형 모델에 대한 포괄적 조사로, LM4TS와 LM4STD를 도입하고, 통합 분류 체계, 자원, 미래 연구 방향을 제시한다.

ABSTRACT

Temporal data, notably time series and spatio-temporal data, are prevalent in real-world applications. They capture dynamic system measurements and are produced in vast quantities by both physical and virtual sensors. Analyzing these data types is vital to harnessing the rich information they encompass and thus benefits a wide range of downstream tasks. Recent advances in large language and other foundational models have spurred increased use of these models in time series and spatio-temporal data mining. Such methodologies not only enable enhanced pattern recognition and reasoning across diverse domains but also lay the groundwork for artificial general intelligence capable of comprehending and processing common temporal data. In this survey, we offer a comprehensive and up-to-date review of large models tailored (or adapted) for time series and spatio-temporal data, spanning four key facets: data types, model categories, model scopes, and application areas/tasks. Our objective is to equip practitioners with the knowledge to develop applications and further research in this underexplored domain. We primarily categorize the existing literature into two major clusters: large models for time series analysis (LM4TS) and spatio-temporal data mining (LM4STD). On this basis, we further classify research based on model scopes (i.e., general vs. domain-specific) and application areas/tasks. We also provide a comprehensive collection of pertinent resources, including datasets, model assets, and useful tools, categorized by mainstream applications. This survey coalesces the latest strides in large model-centric research on time series and spatio-temporal data, underscoring the solid foundations, current advances, practical applications, abundant resources, and future research opportunities.

연구 동기 및 목표

• 시간적 데이터 분석(시계열 및 시공간 데이터)에서 대형 모델의 필요성을 정의하고 그 필요성을 동기화한다.
• 통일된 분류 체계를 제공하고 LM4TS와 LM4STD를 모델 유형(LLMs 및 PFMs), 범위(일반 대 도메인 특화), 그리고 작업별로 분류한다.
• 도메인 전반에 걸친 데이터 세트, 모델 자산, 도구, 실용적 응용을 수집한다.
• 향후 연구를 안내하기 위한 도전 과제, 격차 및 기회를 식별한다.

제안 방법

• 대 시계열 및 시공간 데이터에 적용된 대형 언어 모델(LLMs)과 사전 학습 기초 모델(PFMs)에 관한 신진 문헌을 검토하고 종합한다.
• LM4TS와 LM4STD를 구분하는 통일된 분류 체회를 제안하고 데이터 범주와 모델 범주에 따라 추가로 분류한다.
• 데이터 모달리티(시간계열, STG, TKG, 비디오)에 걸친 대표적 작업을 요약하고 LM4TS/LM4STD 프레임워크에 매핑한다.
• 데이터 세트, 구현 및 평가 벤치마크를 자원 가이드로 구성하고 정리한다.
• 향후 방향, 데이터 필요성, 모델 아키텍처 및 대형 시계열 모델의 학습/추론 패러다임을 논의한다.

실험 결과

연구 질문

• RQ1 시계열 및 시공간 데이터용 대형 모델(LM4TS 및 LM4STD)의 주요 카테고리와 하위 카테고리는 무엇이며 어떻게 구성되어 있는가?
• RQ2 LLMs와 PFMs가 시계열 및 시공간 작업에 어떻게 적응하고 일반용 대 일반 vs 도메인 특화 응용은 무엇인가?
• RQ3 이 분야의 연구 개발을 지원하기 위한 데이터 세트, 도구 및 자원은 무엇인가?
• RQ4 향후 대형 시계열 모델에서의 주요 도전 과제와 유망한 방향은 무엇인가?

주요 결과

• 본 논문은 시계열 및 시공간 데이터에 대한 대형 모델의 최초의 포괄적이고 최신화된 조사를 제공한다.
• LM4TS와 LM4STD를 LLMs 및 PFMs로 구성하고 일반 대 도메인 특화 범위의 추가 구분으로 통일된 분류 체계를 도입한다.
• 실용적 사용을 위한 데이터 세트, 모델 자산, 구현 및 평가 벤치마크를 광범위하게 수집한다.
• 시공간 데이터용 PFMs는 시계열 중심 PFMs보다 개발이 더 진행되었으며, STG와 비디오에서 주목할만한 진전이 있다.
• 이 조사는 기후, 운송, 보건 의료, 금융 등 다양한 도메인에서의 실용적 응용을 강조하고 다수의 향후 연구 기회를 제시한다.