[논문 리뷰] FreDo: Frequency Domain-based Long-Term Time Series Forecasting

Fan-Keng Sun, Duane S. Boning|arXiv (Cornell University)|2022. 05. 24.

Stock Market Forecasting Methods인용 수 9

한 줄 요약

FreDo는 주기성 정보를 활용하고 오차 누적을 줄임으로써, Autoformer과 같은 최신 트랜스포머 모델보다 장기 시계열 예측에서 뛰어난 성능을 내는 주파수 도메인 기반 신경망 모델을 제안한다. 주기성 기반 기초 모델(AverageTile)을 기반으로 하여 주파수 도메인에서 학습함으로써, 다양한 데이터셋에서 최대 50% 낮은 오차와 뛰어난 일반화 성능을 달성한다.

ABSTRACT

The ability to forecast far into the future is highly beneficial to many applications, including but not limited to climatology, energy consumption, and logistics. However, due to noise or measurement error, it is questionable how far into the future one can reasonably predict. In this paper, we first mathematically show that due to error accumulation, sophisticated models might not outperform baseline models for long-term forecasting. To demonstrate, we show that a non-parametric baseline model based on periodicity can actually achieve comparable performance to a state-of-the-art Transformer-based model on various datasets. We further propose FreDo, a frequency domain-based neural network model that is built on top of the baseline model to enhance its performance and which greatly outperforms the state-of-the-art model. Finally, we validate that the frequency domain is indeed better by comparing univariate models trained in the frequency v.s. time domain.

연구 동기 및 목표

• 복잡한 딥러닝 모델이 장기 시계열 예측에서 오차 누적으로 인해 단순 기초 모델보다 진정으로 뛰어나게 성능을 냈는지 조사하기 위해.
• 장기 예측 과제에서 최신 기술 수준 성능을 달성하는 단순한 주기성 기반 기초 모델(AverageTile)을 설계하기 위해.
• 기초 모델을 향상시켜 장기 예측에서 뛰어난 성능을 내는 주파수 도메인 기반 신경망(FreDo)을 제안하기 위해.
• 단변량 예측 설정에서 주파수 도메인 학습이 시간 도메인 학습보다 우수한 성능을 내는지 검증하기 위해.

제안 방법

• FreDo는 입력 시계열을 이산 푸리에 변환(DFT)을 통해 주파수 도메인으로 변환하는 피드포워드 신경망이다.
• 모델은 데이터셋 내 모든 시계열에 대해 공유 파라미터를 사용하여 일반화 성능 향상과 과적합 방지를 도모한다.
• AverageTile 기초 모델 위에 구축되며, 이는 최근 주기의 값을 반복하여 미래 값을 예측한다.
• 주파수 도메인 표현은 시간 도메인 모델보다 고유의 주기적 패턴을 더 효과적으로 포착하고 활용할 수 있도록 한다.
• 제거 분석에서는 시간 도메인에서 학습하는 단변량 모델(TimeDo)과 주파수 도메인에서 학습하는 모델(FreDo)을 비교하며, 각 시계열별로 별도로 학습하여 전체 모델의 능력을 평가한다.
• 통계적 유의성은 각 데이터셋의 모든 단변량 시계열에 대해 대응 t-검정을 통해 평가된다.

실험 결과

연구 질문

• RQ1 장기 예측에서 오차 누적이 복잡한 모델이 단순 기초 모델보다 성능 향상을 제한하는가?
• RQ2 비모수적이고 주기성 기반의 기초 모델(AverageTile)이 Autoformer와 같은 최신 트랜스포머 모델과 유사한 성능을 달성할 수 있는가?
• RQ3 주파수 도메인에서 학습하는 것이 시간 도메인 학습보다 장기 예측에서 더 낮은 오차와 뛰어난 일반화 성능을 제공하는가?
• RQ4 다양한 단변량 시계열에서 주파수 도메인 모델의 성능 향상은 통계적으로 유의미한가?

주요 결과

• FreDo는 모든 데이터셋과 예측 수준에서 Autoformer보다 최소 20% 이상의 오차 감소를 기록하며, 일부 벤치마크에서는 최대 50%까지 향상된다.
• 성능 향상은 통계적으로 유의미하며, 대부분의 비교에서 p-값이 1% 미만이므로 결과에 강한 신뢰를 가질 수 있다.
• FreDo는 Autoformer보다 낮은 편향과 낮은 분산을 기록하며, 이는 더 작은 모델 크기와 시계열 간 공유 파라미터 전략 덕분으로 여겨진다.
• 단변량 비교에서 FreDo는 모든 일곱 개의 데이터셋에서 TimeDo를 일관되게 능가하며, 대응 t-검정을 통해 통계적 유의성도 확인되었다.
• 주파수 도메인 접근은 장기 예측에서 오차 누적을 줄여주며, 그 증거로 그림 4에 제시된 오차 곡선에서 오차 증가 속도가 느리게 나타난다.
• 결과적으로 주파수 도메인 학습이 장기 예측에서 시간 도메인 학습보다 더 효과적임을 검증하였으며, 특히 주기적 패턴을 모델링할 때 유의미한 성능 향상을 이룬다.