[논문 리뷰] Are Transformers Effective for Time Series Forecasting?

Ailing Zeng, Muxi Chen외 2명|arXiv (Cornell University)|2022. 05. 26.

Time Series Analysis and Forecasting인용 수 182

한 줄 요약

논문은 간단한 1계층 선형 기반선(LTSF-Linear)이 종종 최첨단 Transformer 기반의 장기 시계열 예측 모델보다 성능이 우수하며, 9개 실제 데이터셋에서 Transformers의 시간 모델링 효율성을 의문시한다.

ABSTRACT

Recently, there has been a surge of Transformer-based solutions for the long-term time series forecasting (LTSF) task. Despite the growing performance over the past few years, we question the validity of this line of research in this work. Specifically, Transformers is arguably the most successful solution to extract the semantic correlations among the elements in a long sequence. However, in time series modeling, we are to extract the temporal relations in an ordered set of continuous points. While employing positional encoding and using tokens to embed sub-series in Transformers facilitate preserving some ordering information, the nature of the \emph{permutation-invariant} self-attention mechanism inevitably results in temporal information loss. To validate our claim, we introduce a set of embarrassingly simple one-layer linear models named LTSF-Linear for comparison. Experimental results on nine real-life datasets show that LTSF-Linear surprisingly outperforms existing sophisticated Transformer-based LTSF models in all cases, and often by a large margin. Moreover, we conduct comprehensive empirical studies to explore the impacts of various design elements of LTSF models on their temporal relation extraction capability. We hope this surprising finding opens up new research directions for the LTSF task. We also advocate revisiting the validity of Transformer-based solutions for other time series analysis tasks (e.g., anomaly detection) in the future. Code is available at: \url{https://github.com/cure-lab/LTSF-Linear}.

연구 동기 및 목표

• 장기 시계열 예측(LTSF)에 대한 Transformer 기반 솔루션의 효과를 의문시한다.
• Transformer 기반 LTSF 모델에 도전하기 위한 간단한 선형 기반선(LTSF-Linear)을 제안한다.
• 다양한 실제 데이터셋에서 Transformer 기반 LTSF 모델과 LTSF-Linear를 평가하고 비교한다.
• 설계 요소(임베딩, look-back 창, DMS 대 IMS)와 이들이 시계열 관계 추출에 미치는 영향을 조사한다.

제안 방법

• LTSF-Linear를 도입한다. 이는 가중합으로 미래 값을 직접 예측하는 한 계층의 시계열 선형 모델이다: X_hat = W X, 단 W ∈ R^{T x L}.
• 경향성과 분포 변화에 대응하기 위해 두 가지 변형을 개발한다: DLinear(경향 및 계절 부분에 대한 분해 + 선형 예측기)와 NLinear(마지막 값을 빼서 정규화한 다음 선형 예측기).
• 9개의 실제 다변량 데이터셋에서 FEDformer, Autoformer, Informer, Pyraformer, LogTrans 등 Transformer 기반 LTSF 모델과 벤치마크를 수행한다.
• 집합 해제(ablation) 및 입력 셔플링 실험을 통해 look-back 창 크기, 입력 임베딩 및 self-attention 대 선형 계층의 영향을 분석한다.
• 계산 효율성과 실용적인 추론 비용을 평가한다.

실험 결과

연구 질문

• RQ1 Do Transformer-based models truly capture temporal relations in long sequences for LTSF?
• RQ2 Are simple linear models competitive or superior for LTSF benchmarks, and under what conditions?
• RQ3 How do look-back window size and embedding choices affect temporal relation extraction in LTSF?
• RQ4 What is the role of DMS vs IMS forecasting in Transformer-based LTSF performance?
• RQ5 Do transformations like input shuffling reveal temporal order preservation differences between Transformer-based models and linear baselines?

주요 결과

• LTSF-Linear은 다변량 예측에서 9개 벤치마크에서 기존의 Transformer 기반 LTSF 모델보다 약 20%에서 50% 정도 더 우수하게 작동한다.
• Transformers는 look-back 창 크기가 커질수록 예측 오류 감소에 실패하는 경우가 많아 긴 시퀀스에 대한 시간 관계 추출이 제한적임을 시사한다.
• LTSF-Linear는 상호 변수 간 상관 관계를 모델링하지 않더라도 여전히 강력하며, LTSF 과제에 강력한 간단한 기반선을 시사한다.
• 절손 연구(ablation)에서 self-attention 및 기타 Transformer 구성 요소는 이 벤치마크에 필수적이지 않으며, 단순화가 성능을 개선하거나 일치시킬 수 있음을 보여준다.
• 셔플링 실험은 Transformer 기반 방법이 LTSF-Linear보다 입력 순서 정보에 덜 의존한다는 것을 보여주며, 현재의 Transformer에서 더 약한 시간 순서 보존을 시사한다.