[논문 리뷰] Deep Time Series Models: A Comprehensive Survey and Benchmark

Yuxuan Wang, Haixu Wu외 5명|arXiv (Cornell University)|2024. 07. 18.

Time Series Analysis and Forecasting인용 수 25

한 줄 요약

이 연구는 아키텍처와 작업에 따라 심층 시계열 모델을 조사하고, 24개 모델, 30개 데이터셋, 5개 작업으로 구성된 Time Series Library (TSLib) 벤치마크를 도입하며, 12개 고급 모델의 평가를 제공합니다.

ABSTRACT

Time series, characterized by a sequence of data points organized in a discrete-time order, are ubiquitous in real-world scenarios. Unlike other data modalities, time series present unique challenges due to their intricate and dynamic nature, including the entanglement of nonlinear patterns and time-variant trends. Analyzing such data is of great significance in practical applications and has been extensively studied for centuries. Recent years have witnessed remarkable breakthroughs in the time series community, with techniques shifting from traditional statistical methods to contemporary deep learning models. In this paper, we delve into the design of deep time series models across various analysis tasks and review the existing literature from two perspectives: basic modules and model architectures. Further, we develop and release Time Series Library (TSLib) as a fair benchmark of deep time series models for diverse analysis tasks. TSLib implements 30 prominent models, covers 30 datasets from different domains, and supports five prevalent analysis tasks. Based on TSLib, we thoroughly evaluate 13 advanced deep time series models across diverse tasks. Empirical results indicate that models with specific structures are well-suited for distinct analytical tasks, providing insights for research and adoption of deep time series models. Code and datasets are available at https://github.com/thuml/Time-Series-Library.

연구 동기 및 목표

• 기본 모듈에서 현대 아키텍처까지 심층 시계열 모델 설계의 구조적 개관을 제공한다.
• 공정한 평가를 위해 다양한 작업에 걸쳐 오픈 소스 벤치마크(TSLib)를 도입 및 공개한다.
• 다중 시계열 작업에서 아키텍처 선택이 성능에 미치는 영향을 실증적으로 분석한다.

제안 방법

• 기본 모듈(고정화, 분해, 기저 확장, 푸리에 분석)과 이를 심층 모델에 통합하는 방법을 검토한다.
• 심층 시계열 모델을 다섯 가지 백본 아키텍처(MLP, RNN, CNN, GNN, Transformer)로 분류한다.
• 공정한 벤치마킹을 위한 24개 일반 모델, 30개 데이터셋, 5개 작업을 구현하는 Time Series Library(TSLib)를 제안하고 배포한다.
• 다양한 분석 작업에서 TSLib를 사용하여 12개의 고급 모델에 대해 광범위한 실험을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 백본 아키텍처가 다중 시계열 분석 작업(예: 예측, 분류, 보간, 이상 탐지 등)에서 어떻게 성능을 발휘하는가?
• RQ2 심층 시계열 모델에서 다양한 기본 모듈(고정화, 분해, 기저 확장, 푸리에 분석)의 상대적 효과는 무엇인가?
• RQ3 제안된 Time Series Library(TSLib)가 다양한 데이터셋과 작업 전반에서 공정하고 포괄적인 평가를 가능하게 하는가?
• RQ4 경험적 벤치마크를 기반으로 특정 시계열 작업에 가장 적합한 모델 아키텍처는 무엇인가?
• RQ5 실제 적용 사례를 위한 심층 시계열 모델 설계에 대해 어떤 통찰이 도출되는가?

주요 결과

• 작업에 맞춘 구조를 가진 모델이 특정 분석 작업에서 탁월한 경향을 보인다.
• TSLib를 통해 24개 모델, 30개 데이터셋, 다섯 가지 작업 간의 공정한 비교가 가능하다.
• 다양한 작업에서 12개의 고급 모델을 평가한 결과는 모델 및 벤치마크 선택에 실용적인 지침을 제공한다.
• 전통적 모듈(예: 분해, 고정화)과 현대 백본(예: Transformer, GNN)을 결합하면 심층 시계열 아키텍처의 성능이 향상된다.