[논문 리뷰] FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting

Tian Zhou, Ziqing Ma외 4명|arXiv (Cornell University)|2022. 01. 30.

Time Series Analysis and Forecasting인용 수 535

한 줄 요약

FEDformer는 계절-추세 분해를 주파수 영역 Transformer 블록과 통합하여 선형 복잡도의 장기 예측과 최첨단 방법 대비 향상된 정확도를 달성합니다.

ABSTRACT

Although Transformer-based methods have significantly improved state-of-the-art results for long-term series forecasting, they are not only computationally expensive but more importantly, are unable to capture the global view of time series (e.g. overall trend). To address these problems, we propose to combine Transformer with the seasonal-trend decomposition method, in which the decomposition method captures the global profile of time series while Transformers capture more detailed structures. To further enhance the performance of Transformer for long-term prediction, we exploit the fact that most time series tend to have a sparse representation in well-known basis such as Fourier transform, and develop a frequency enhanced Transformer. Besides being more effective, the proposed method, termed as Frequency Enhanced Decomposed Transformer ({\bf FEDformer}), is more efficient than standard Transformer with a linear complexity to the sequence length. Our empirical studies with six benchmark datasets show that compared with state-of-the-art methods, FEDformer can reduce prediction error by $14.8\%$ and $22.6\%$ for multivariate and univariate time series, respectively. Code is publicly available at https://github.com/MAZiqing/FEDformer.

연구 동기 및 목표

• 트랜스포머 기반 모델로 전역 시계열 특성을 포착하여 장기 예측의 동기를 제시합니다.
• 푸리에/웨이블릿 표현과 계절-추세 분해를 결합하는 주파수 도메인 트랜스포머 아키텍처를 제안합니다.
• 랜덤 서브셋 주파수 성분과 혼합 전문가 분해를 통해 선형 시간/메모리 복잡도를 달성합니다.
• 여러 분야에 걸친 여섯 가지 실제 데이터셋에서 최첨단 방법 대비 향상을 입증합니다.

제안 방법

• 자기-어텐션과 교차 어텐션의 대체로 푸리에 또는 웨이블릿 도메인에서 작동하도록 Frequency Enhanced Block (FEB)와 Frequency Enhanced Attention (FEA)을 도입합니다.
• 계절-추세 구성요소를 추출하고 결합하기 위해 Mixture Of Experts Decomposition (MOEDecomp)을 도입합니다.
• 고정 수의 푸리에 성분(또는 웨이블릿 등가성분)을 무작위로 선택하여 이론적 보장(Theorem 1)을 갖는 간결한 시계열 표현을 얻습니다.
• 주파수 도메인에서 학습하기 위한 두 가지 변형 FEB-f/FEA-f (Fourier) 및 FEB-w/FEA-w (Wavelet)를 제공합니다.
• 해독된 계절 구성요소와 추세 구성요소를 결합하여 최종 예측을 생성합니다.
• 고정 모드 수에서 O(L) 시간 및 메모리와, 해당되는 경우 전체 어텐션에 비해 O(N log N) 감소를 보이는 계산 복잡성을 분석합니다.

실험 결과

연구 질문

• RQ1 시계열을 계절/추세 구성요소로 분해하는 것이 트랜스포머 아키텍처와 결합될 때 장기 예측의 개선으로 이어질 수 있을까요?
• RQ2 주파수 도메인(Fourier 또는 Wavelet)에서의 작동이 정확도를 희생하지 않으면서도 효율적이고 확장 가능한 장기 예측을 가능하게 할까요?
• RQ3 푸리에/웨이블릿 성분의 임의의 희소 선택이 중요한 과거 정보를 보존하여 정확한 예측을 가능하게 할까요?(Theorem 1)?
• RQ4 혼합 전문가 분해를 도입하는 것이 계절-추세 패턴 추출에 어떤 영향을 미칠까요?
• RQ5 다양한 실제 데이터셋에서 FEDformer가 최첨단 트랜스포머 기반 모델에 대해 어떻게 성능을 보일까요?

주요 결과

• FEDformer는 여섯 벤치마크에서 최첨단 방법 대비 다변량에서 14.8%, 단변량에서 22.6%의 예측 오차를 낮춥니다.
• FEB/FEA 블록은 실험 전반에서 자기-어텐션과 교차 어텐션을 대체하여 성능을 개선되거나 유지시킬 수 있습니다.
• MOEDecomp은 단일 분해 방식보다 추가 이익을 제공합니다(평균 약 2.96%).
• FEDformer는 96, 192, 336, 720 스텝의 다양한 시점과 데이터셋(에너지, 교통, 경제, 날씨, 질병)에서 강력한 이익을 보여줍니다.
• 두 가지 주파수 변형(Fourier와 Wavelet)은 보완적 강점을 제공하므로 견고한 장기 예측을 위해 두 가지를 함께 사용하는 것을 시사합니다.