[논문 리뷰] Transformers in Time Series: A Survey

Qingsong Wen, Tian Zhou외 5명|arXiv (Cornell University)|2022. 02. 15.

Time Series Analysis and Forecasting인용 수 61

한 줄 요약

Transformer 기반 시간 시계열 방법에 대한 포괄적 고찰로, 네트워크 적응, 응용(예측, 이상 탐지, 분류), 실증 분석 및 향후 방향을 상세히 다룹니다.

ABSTRACT

Transformers have achieved superior performances in many tasks in natural language processing and computer vision, which also triggered great interest in the time series community. Among multiple advantages of Transformers, the ability to capture long-range dependencies and interactions is especially attractive for time series modeling, leading to exciting progress in various time series applications. In this paper, we systematically review Transformer schemes for time series modeling by highlighting their strengths as well as limitations. In particular, we examine the development of time series Transformers in two perspectives. From the perspective of network structure, we summarize the adaptations and modifications that have been made to Transformers in order to accommodate the challenges in time series analysis. From the perspective of applications, we categorize time series Transformers based on common tasks including forecasting, anomaly detection, and classification. Empirically, we perform robust analysis, model size analysis, and seasonal-trend decomposition analysis to study how Transformers perform in time series. Finally, we discuss and suggest future directions to provide useful research guidance. To the best of our knowledge, this paper is the first work to comprehensively and systematically summarize the recent advances of Transformers for modeling time series data. We hope this survey will ignite further research interests in time series Transformers.

연구 동기 및 목표

• 시간 시계열 데이터에서 장기 의존성을 포착하기 위해 Transformer 사용의 필요성을 고취한다.
• 시간 시계열 모델링을 위해 수행된 네트워크 차원의 적응 및 구조적 변화 요약
• 예측, 이상 탐지, 분류 작업별로 Transformer 기반 방법 분류
• 강건성, 모델 크기 및 계절-추세 분해 효과에 대한 실증적 통찰 제공
• 시간 시계열 Transformer의 미해결 과제와 향후 방향 제시

제안 방법

• 바닐라 Transformer의 예비 이론과 위치 인코딩 전략을 제시한다.
• 시간 시계열을 위한 어텐션 모듈, 효율성 전략 및 아키텍처 수준의 혁신을 논의한다.
• 네트워크 수정 및 응용을 기준으로 분류 체계를 제시한다.
• 예측, 이상 탐지 및 분류를 위한 모듈 수준 및 아키텍처 수준 변형을 고찰한다.
• 입력 길이, 모델 크기 및 계절-추세 분해에 대한 강건성에 대한 실증 분석을 수행한다.
• 실용적 지침과 향후 연구 방향을 요약한다.

실험 결과

연구 질문

• RQ1 시간 시계열 의존성과 계절성을 효과적으로 모델링하는 주요 Transformer 적응은 무엇인가?
• RQ2 예측, 이상 탐지 및 분류 작업에서 Transformer 기반 시간 시계열 모델의 성능과 강건성/크기 간의 트레이드오프는 어떠한가?
• RQ3 (귀납 바이어스, GNN 통합, 사전 학습, 아키텍처 변형 등) 무엇이 향후 시간 시계열 Transformer를 더욱 개선할 수 있는 방향인가?

주요 결과

• Transformer 기반 시간 시계열 모델은 예측, 이상 탐지 및 분류에 대해 우수한 장기 의존성 모델링을 제공한다.
• 효율성 지향 어텐션(희소/저랭크) 및 다중 해상도 또는 계층적 아키텍처가 긴 시퀀스 처리 성능을 향상시킨다.
• 계절-추세 분해는 예측 성능을 크게 향상시킬 수 있다(보고된 실험에서 50%-80%).
• 모델 크기와 깊이가 항상 더 나은 예측 결과를 낳는 것은 아니며 중간 크기 구성이 매우 깊은 구성보다 성능이 더 나을 수 있다.
• 시간 시계열에 대한 사전 학습은 덜 탐구되었으며 잠재력이 있지만 아직 초기 상태다.
• Transformer와 GNN의 결합 및 시간 시계열에 맞춘 귀납 바이어스 도입이 성능을 향상시킨다.