[논문 리뷰] Frequency Adaptive Normalization For Non-stationary Time Series Forecasting

Weiwei Ye, Songgaojun Deng외 2명|arXiv (Cornell University)|2024. 09. 30.

Stock Market Forecasting MethodsDecision Sciences인용 수 3

한 줄 요약

이 논문은 주어진 시계열 데이터에서 동적 추세와 계절성 성분을 식별하고 제거하기 위해 인스턴스 단위 푸리에 변환을 사용하는 모델에 종속되지 않는 정규화 방법인 주파수 적응형 정규화(FAN)를 제안한다. 간단한 MLP를 통해 주요 주파수 성분의 변화를 모델링함으로써, FAN은 여덟 개의 벤치마크 데이터셋에서 네 가지 백본 모델에 대해 예측 성능을 향상시켜 평균 MSE를 7.76%에서 37.90%까지 감소시킨다.

ABSTRACT

Time series forecasting typically needs to address non-stationary data with evolving trend and seasonal patterns. To address the non-stationarity, reversible instance normalization has been recently proposed to alleviate impacts from the trend with certain statistical measures, e.g., mean and variance. Although they demonstrate improved predictive accuracy, they are limited to expressing basic trends and are incapable of handling seasonal patterns. To address this limitation, this paper proposes a new instance normalization solution, called frequency adaptive normalization (FAN), which extends instance normalization in handling both dynamic trend and seasonal patterns. Specifically, we employ the Fourier transform to identify instance-wise predominant frequent components that cover most non-stationary factors. Furthermore, the discrepancy of those frequency components between inputs and outputs is explicitly modeled as a prediction task with a simple MLP model. FAN is a model-agnostic method that can be applied to arbitrary predictive backbones. We instantiate FAN on four widely used forecasting models as the backbone and evaluate their prediction performance improvements on eight benchmark datasets. FAN demonstrates significant performance advancement, achieving 7.76% ~ 37.90% average improvements in MSE.

연구 동기 및 목표

• 기존의 가역적 인스턴스 정규화 방법들이 평균, 분산과 같은 시간 도메인 통계 자료에만 의존하여 변화하는 계절 패턴을 포착하지 못하는 한계를 해결하기 위해.
• 시계열 데이터의 비정상적 추세와 계절 성분을 효과적으로 모델링할 수 있는 정규화 기법을 개발하기 위해.
• 기존 예측 백본에 성능 향상을 위해 모델에 종속되지 않는 방식으로 통합 가능하도록 하기 위해.
• 입력과 출력 사이의 비정상적 패턴의 변화를 명시적으로 모델링하여, 패턴이 일정하다고 가정하지 않기 위해.

제안 방법

• FAN은 각 입력 시퀀스에서 상위 K개의 주요 주파수 성분을 추출하기 위해 인스턴스 단위 푸리에 변환을 적용한다. 이는 주요 비정상적 요인을 나타낸다.
• 이 주요 주파수 성분을 제거함으로써 입력을 정규화함으로써 입력 데이터의 비정상성 정도를 감소시킨다.
• 패턴 적응 모듈은 간단한 MLP로 구현되며, 입력 시퀀스에서 출력 시퀀스로의 상위 K개 주파수 성분의 변화를 예측한다.
• 예측된 주파수 성분은 출력을 재구성하는 데 사용되며, 이 과정은 미분 가능하고 학습 가능한 방식으로 비정상적 구조를 복원한다.
• 이 방법은 어떤 딥러닝 백본 모델에도 적용 가능한 모델에 종속되지 않는 방식으로 설계되어 있다.
• 이 접근법은 입력과 출력의 주파수 성분 간의 차이를 명시적으로 모델링함으로써, 비정상적 동역학에 대한 더 나은 일반화 성능을 가능하게 한다.

실험 결과

연구 질문

• RQ1 푸리에 변환을 통한 주파수 도메인 표현이 시간 도메인 통계 자료보다 비정상적 성분(예: 변화하는 추세와 계절 패턴)을 더 잘 포착할 수 있는가?
• RQ2 학습 가능한 주파수 적응 모듈이 시간 단위로 변화하는 비정상적 패턴의 진화를 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 모델에 종속되지 않는 정규화 방법인 FAN이 다양한 예측 백본과 데이터셋에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 기존의 평균과 분산에만 의존하는 정규화 기법보다 FAN이 복잡한 비정상적 시계열을 다루는 데 더 우수한 성능을 보이는가?

주요 결과

• FAN은 네 가지 다른 예측 백본에 적용되었을 때 여덟 개의 벤치마크 데이터셋에서 평균 MSE를 7.76%에서 37.90%까지 감소시켰다.
• 기존의 시간 도메인 통계 자료(예: 평균, 분산)에만 의존하는 가역적 인스턴스 정규화 기법보다 FAN이 뚜렷하게 뛰어난 성능을 보였다.
• 간단한 MLP로 구성된 패턴 적응 모듈은 입력에서 출력으로의 주요 주파수 성분의 진화를 효과적으로 포착하여 예측 정확도를 향상시켰다.
• FAN은 교통, 전력, 환율, 기상 예측 등 다양한 분야에서 일관된 성능 향상을 보였다.
• 제거 실험 결과에서 주파수 기반 정규화가 시간 도메인 정규화보다 비정상적 동역학을 포착하는 데 더 효과적임을 확인하였다.
• 선형적으로 변화하는 주파수를 가진 신호를 포함한 다양한 시퀀스 길이와 비정상적 패턴에 대해 FAN은 강건한 성능을 보였으며, 이는 이전 방법들이 잘 다루지 못하는 영역이었다.