[논문 리뷰] TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis

Haixu Wu, Tengge Hu외 4명|arXiv (Cornell University)|2022. 10. 05.

Time Series Analysis and Forecasting인용 수 420

한 줄 요약

TimesNet은 학습된 주기를 기반으로 1D 시계열을 여러 개의 2D 텐서로 변환하여 2D 커널로 내부 주기(intra-period)와 외부 주기(inter-period) 변동을 모델링하고 예측, 보간, 분류 및 이상 탐지에서 최첨단 결과를 달성합니다. 또한 TimesBlock을 모듈형의 태스크-제너럴 백본으로 도입하여 다주기성을 적응적으로 학습합니다.

ABSTRACT

Time series analysis is of immense importance in extensive applications, such as weather forecasting, anomaly detection, and action recognition. This paper focuses on temporal variation modeling, which is the common key problem of extensive analysis tasks. Previous methods attempt to accomplish this directly from the 1D time series, which is extremely challenging due to the intricate temporal patterns. Based on the observation of multi-periodicity in time series, we ravel out the complex temporal variations into the multiple intraperiod- and interperiod-variations. To tackle the limitations of 1D time series in representation capability, we extend the analysis of temporal variations into the 2D space by transforming the 1D time series into a set of 2D tensors based on multiple periods. This transformation can embed the intraperiod- and interperiod-variations into the columns and rows of the 2D tensors respectively, making the 2D-variations to be easily modeled by 2D kernels. Technically, we propose the TimesNet with TimesBlock as a task-general backbone for time series analysis. TimesBlock can discover the multi-periodicity adaptively and extract the complex temporal variations from transformed 2D tensors by a parameter-efficient inception block. Our proposed TimesNet achieves consistent state-of-the-art in five mainstream time series analysis tasks, including short- and long-term forecasting, imputation, classification, and anomaly detection. Code is available at this repository: https://github.com/thuml/TimesNet.

연구 동기 및 목표

• 시계열에서 다주기성을 통해 시간적 변화를 모델링하도록 동기를 부여한다.
• intraperiod- 및 interperiod- 변동을 통합하기 위한 시계열의 2D 표현을 제안한다.
• TimesNet와 TimesBlock를 모듈형의 태스크-제너럴 백본으로 도입한다.
• 예측, 보간, 분류, 이상 탐지에서 최첨단 성능을 보인다.

제안 방법

• 상위 주파수 및 대응하는 주기를 식별하기 위해 FFT 기반 주파수 진폭 분석으로 다중 주기(주기)를 추정한다.
• 확인된 주기 길이를 사용하여 reshape로 1D 시계열을 다중 2D 텐서로 변환하여 2D 변동 모델링을 가능하게 한다.
• 각 2D 텐서를 공유된 inception-스타일 블록으로 처리하여 2D 공간에서 다중 스케일의 intraperiod 및 interperiod 변동을 포착한다.
• 진폭 기반 중요도에서 영감을 받은 소프트맥스 가중 융합을 사용하여 서로 다른 주기 기반 2D 뷰의 출력을 집계한다.
• 표현을 점진적으로 정제하기 위해 잔차 방식으로 TimesBlocks를 쌓는다.

실험 결과

연구 질문

• RQ1 다주기성을 활용하여 복합적인 시간적 변동을 intraperiod와 interperiod 구성 요소로 분해할 수 있는가?
• RQ2 1D 시계열을 2D 텐서로 변환하고 2D 커널을 적용하는 것이 다양한 TS 작업에서 표현 학습을 향상시키는가?
• RQ3 TimesNet가 예측, 보간, 분류, 이상 탐지에서 최첨단을 달성하는 태스크-제너럴 백본인가?
• RQ4 주기 진폭에 기반한 적응적 융합이 작업 간 성능에 어떤 영향을 미치는가?

주요 결과

• TimesNet은 다섯 가지 주요 시계열 분석 작업에서 일관되게 최첨단을 달성한다.
• 모듈형 TimesBlock은 다주기성을 발견하고 매개변수 효율적인 inception 블록을 통해 시간적 2D 변 Variations를 추출한다.
• 1D 시리즈를 2D 텐서로 변환하면 2D 커널로 intraperiod- 및 interperiod- 변동을 효과적으로 모델링할 수 있다.
• inception 블록을 더 강력한 2D 백본으로 대체하면 성능이 더욱 향상되어 2D 변형 설계의 타당성을 확인한다.
• TimesNet은 시계열 분석의 기초 모델로서 작업 일반성을 입증한다.