[논문 리뷰] A Survey on Time-Series Pre-Trained Models

Qianli Ma, Zhen Liu외 5명|arXiv (Cornell University)|2023. 05. 18.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 종합적 리뷰는 시간열선 전처리 모델(TS-PTMs)에 대해 포괄적인 검토를 제공하며, 레이블된 데이터, 레이블이 없는 데이터 또는 가짜 레이블이 있는 데이터를 사용하는 방식에 따라 사전 훈련 기법—감독, 비감독, 자기지도 학습—기반으로 분류한다. 27개의 방법을 434개의 데이터셋과 679개의 전이 학습 시나리오에서 평가하며, 자기지도 학습 및 Transformer 기반 TS-PTMs가 시간열선 분류 및 이상 탐지에서 최고의 성능을 기록하고 있음을 입증한다.

ABSTRACT

Time-Series Mining (TSM) is an important research area since it shows great potential in practical applications. Deep learning models that rely on massive labeled data have been utilized for TSM successfully. However, constructing a large-scale well-labeled dataset is difficult due to data annotation costs. Recently, pre-trained models have gradually attracted attention in the time series domain due to their remarkable performance in computer vision and natural language processing. In this survey, we provide a comprehensive review of Time-Series Pre-Trained Models (TS-PTMs), aiming to guide the understanding, applying, and studying TS-PTMs. Specifically, we first briefly introduce the typical deep learning models employed in TSM. Then, we give an overview of TS-PTMs according to the pre-training techniques. The main categories we explore include supervised, unsupervised, and self-supervised TS-PTMs. Further, extensive experiments involving 27 methods, 434 datasets, and 679 transfer learning scenarios are conducted to analyze the advantages and disadvantages of transfer learning strategies, Transformer-based models, and representative TS-PTMs. Finally, we point out some potential directions of TS-PTMs for future work.

연구 동기 및 목표

• 사전 훈련 기법에 기반해 시간열선 전처리 모델(TS-PTMs)에 대한 체계적인 분류 체계를 제공하기 위해.
• 전이 학습 전략, Transformer 기반 아키텍처, 대표적인 TS-PTMs의 강점과 한계를 분석하기 위해.
• 27개의 TS-PTM 방법이 434개의 데이터셋과 679개의 전이 학습 시나리오에서 어떻게 성능을 발휘하는지 평가하기 위해.
• TS-PTMs 개발 및 응용 분야에서의 열린 과제와 향후 연구 방향을 규명하기 위해.

제안 방법

• 레이블된, 레이블이 없는, 또는 가짜 레이블이 있는 데이터의 사용에 따라 TS-PTMs를 감독, 비감독, 자기지도 학습 기반의 세 가지 주요 유형으로 분류한다.
• 시간열선 마이닝에 사용된 딥 러닝 모델, 즉 Transformer, 오토에인커, 시퀀스 모델 등을 검토한다.
• 27개의 방법, 434개의 데이터셋, 679개의 전이 학습 시나리오를 통해 광범위한 실험을 수행하여 모델 성능을 비교한다.
• 자기지도 학습을 위한 사전 훈련 목표, 예를 들어 복원 손실, 대비 학습, 가짜 레이블링을 평가한다.
• 특히 Transformer 아키텍처가 시간열선 데이터의 표현 학습에 미치는 영향을 분석한다.
• 재현성과 향후 연구를 위해 공개된 코드베이스를 제공한다: https://github.com/qianlima-lab/time-series-ptms.

실험 결과

연구 질문

• RQ1 감독, 비감독, 자기지도 학습 기반의 다양한 사전 훈련 기법이 효과적인 시간열선 표현을 학습하는 데 어떻게 비교되는가?
• RQ2 다음 작업 시간열선 작업에서 Transformer 기반 모델과 비-Transformer 아키텍처 간의 상대적 성능은 어떠한가?
• RQ3 시간열선 분류 및 이상 탐지에서 저자료 환경에서 전이 학습 전략의 효과는 어떠한가?
• RQ4 데이터 효율성과 일반화 능력 측면에서 현재의 TS-PTM 접근 방식에 대한 주요 과제와 한계는 무엇인가?
• RQ5 시간열선 사전 훈련 분야에서 향후 연구에 가장 유망한 방향은 무엇인가?

주요 결과

• DCdetector는 SMD 데이터셋(0.9563)과 SWAT 데이터셋(0.9588)에서 가장 높은 F1 스코어를 기록하며, GPT4TS 및 TimesNet을 포함한 다른 모델들을 압도했다.
• TS2Vec은 MSL 데이터셋에서 F1 0.8748, SMAP 데이터셋에서 F1 0.7013을 기록하여 多변량 데이터셋에서의 강건성을 입증했다.
• GPT4TS는 PSM 데이터셋(0.9706)과 NIPS TS Water 데이터셋(0.7844)에서 최고의 F1 스코어를 기록하여 복잡한 다변량 환경에서의 강력한 일반화 능력을 보였다.
• TimesNet은 PSM(0.9183)과 SWAT(0.9265) 데이터셋에서 높은 F1 스코어를 기록하여 다양한 조건에서의 이상 탐지 성능이 뛰어나다는 것을 보였다.
• LSTM-VAE와 DONUT은 SMD 및 MSL 데이터셋에서 F1 스코어가 0.4 이하로 지속적으로 떨어져 표현 학습의 한계를 드러냈다.
• LSTM-VAE, DOUNT, TS2Vec 등 일부 모델들은 PSM 및 SWAT 데이터셋에서 메모리 오류로 인해 실패했으며, 이는 현재 TS-PTM 구현의 확장성과 자원 제약을 시사한다.