[논문 리뷰] ETSformer: Exponential Smoothing Transformers for Time-series Forecasting

Gerald Woo, Chenghao Liu외 3명|arXiv (Cornell University)|2022. 02. 03.

Time Series Analysis and Forecasting인용 수 108

한 줄 요약

ETSformer은 Transformer에 Exponential Smoothing Attention과 Frequency Attention을 도입하여 시계열 예측을 위한 해석 가능한 수준(level)/성장(growth)/계절성(seasonal) 분해를 가능하게 하고, 다수의 실제 데이터셋에서 최첨단 성능을 달성한다.

ABSTRACT

Transformers have been actively studied for time-series forecasting in recent years. While often showing promising results in various scenarios, traditional Transformers are not designed to fully exploit the characteristics of time-series data and thus suffer some fundamental limitations, e.g., they generally lack of decomposition capability and interpretability, and are neither effective nor efficient for long-term forecasting. In this paper, we propose ETSFormer, a novel time-series Transformer architecture, which exploits the principle of exponential smoothing in improving Transformers for time-series forecasting. In particular, inspired by the classical exponential smoothing methods in time-series forecasting, we propose the novel exponential smoothing attention (ESA) and frequency attention (FA) to replace the self-attention mechanism in vanilla Transformers, thus improving both accuracy and efficiency. Based on these, we redesign the Transformer architecture with modular decomposition blocks such that it can learn to decompose the time-series data into interpretable time-series components such as level, growth and seasonality. Extensive experiments on various time-series benchmarks validate the efficacy and advantages of the proposed method. Code is available at https://github.com/salesforce/ETSformer.

연구 동기 및 목표

• 시계열 구조의 귀납적 편향(레벨, 성장, 계절성)을 예측을 위한 Transformer에 통합한다.
• vanilla self-attention을 Exponential Smoothing Attention (ESA)와 Frequency Attention (FA)로 대체하여 최근성 및 계절성을 포착한다.
• 해석 가능한 잠재 구성요소를 학습하고 level, growth, seasonal 항의 합으로 예측을 출력하는 모듈식 인코더-디코더 아키텍처를 개발한다.
• O(L log L) 복잡도로 확장성과 효율성을 시연하고 다양한 실제 데이터셋에서 검증한다.

제안 방법

• 상대 시간 지연에 기반한 지수적 감소를 따른 가중치를 갖는 Exponential Smoothing Attention (ESA)을 제안하여, 빠른 교차상관/FFT 기반 알고리즘을 통해 O(L log L) 계산을 가능하게 한다.
• 주요 계절 패턴을 식별하고 외삽하기 위해 Fourier 기저를 사용하는 Frequency Attention (FA)을 제안하며 O(L log L) 복잡도를 갖춘다.
• lookback 윈도우의 잔차에서 잠재 성장 신호를 추출하기 위해 Multi-Head ESA (MH-ESA)를 구축한다.
• 각 인코더 레이어를 Seasonal (FA), Growth (MH-ESA), Level 구성요소로 분해하고 학습 가능한 스무딩 매개변수를 두어 잔차를 점진적으로 정제한다.
• N 레이어에 걸쳐 Level, Growth, Seasonal 항의 조합으로 예측을 디코드하며, 강건한 다단계 예측을 위해 성장 감쇠를 포함한다.

실험 결과

연구 질문

• RQ1 시계열 구조의 귀납적 편향(레벨/성장/계절성)을 예측을 위한 Transformer에 통합하여 예측 정확도와 해석가능성을 높일 수 있는가?
• RQ2 Vanilla self-attention 대비 Exponential Smoothing Attention과 Frequency Attention이 시계열 예측에서 효율성과 성능을 개선하는가?
• RQ3 모듈식, 분해된 아키텍처가 고전적 지수평활과 일치하는 의미 있는 레벨, 성장 및 계절 표현을 학습할 수 있는가?
• RQ4 제안된 ETSformer가 긴 회귀 윈도우에서도 확장 가능하고 다변량 및 단변량 데이터셋에서 경쟁력 있는 또는 우수한 정확도를 달성하는가?

주요 결과

• ETSformer는 최신의 성능을 달성하여 다변량 설정 40개 중 35개, 단변량 설정 23개 중 17개에서 기준선을 능가한다.
• 모델은 최고는 아니더라도 여전히 매우 경쟁력이 있어, 모든 40개 다변량 설정에서 상위 2위, 23개 중 21개 단변량 설정에서 상위 2위에 랭크된다.
• Ablation 결과 Level, Growth, Season 구성요소 중 어느 하나를 제거해도 성능이 저하되며, Level이 특히 중요한 것으로 나타났다.
• ETSformer는 예측을 Level, Growth, Seasonal 구성요소로 분해하여 해석 가능한 예측을 제공하며, 이는 합성 데이터와 실제 데이터에서의 실제 패턴과 일치한다.
• ESA와 FA 메커니즘은 O(L log L) 복잡도를 제공하여 긴 시퀀스 추론을 가능하게 한다.