[논문 리뷰] Frequency-domain MLPs are More Effective Learners in Time Series Forecasting

Kun Yi, Qi Zhang외 8명|arXiv (Cornell University)|2023. 11. 10.

Stock Market Forecasting Methods인용 수 91

한 줄 요약

FreTS는 채널 및 시간적 두 학습기를 갖춘 주파수 도메인 MLP를 도입하여 시계열 예측을 위한 전역 스펙트럼 의존성을 학습하고, 최첨단 baselines와 비교하여 13개의 실제 벤치마크에서 우수한 성능을 달성한다.

ABSTRACT

Time series forecasting has played the key role in different industrial, including finance, traffic, energy, and healthcare domains. While existing literatures have designed many sophisticated architectures based on RNNs, GNNs, or Transformers, another kind of approaches based on multi-layer perceptrons (MLPs) are proposed with simple structure, low complexity, and {superior performance}. However, most MLP-based forecasting methods suffer from the point-wise mappings and information bottleneck, which largely hinders the forecasting performance. To overcome this problem, we explore a novel direction of applying MLPs in the frequency domain for time series forecasting. We investigate the learned patterns of frequency-domain MLPs and discover their two inherent characteristic benefiting forecasting, (i) global view: frequency spectrum makes MLPs own a complete view for signals and learn global dependencies more easily, and (ii) energy compaction: frequency-domain MLPs concentrate on smaller key part of frequency components with compact signal energy. Then, we propose FreTS, a simple yet effective architecture built upon Frequency-domain MLPs for Time Series forecasting. FreTS mainly involves two stages, (i) Domain Conversion, that transforms time-domain signals into complex numbers of frequency domain; (ii) Frequency Learning, that performs our redesigned MLPs for the learning of real and imaginary part of frequency components. The above stages operated on both inter-series and intra-series scales further contribute to channel-wise and time-wise dependency learning. Extensive experiments on 13 real-world benchmarks (including 7 benchmarks for short-term forecasting and 6 benchmarks for long-term forecasting) demonstrate our consistent superiority over state-of-the-art methods.

연구 동기 및 목표

• 점별 매핑의 한계와 정보 병목을 다루면서 간단하고 저복잡도인 MLP를 사용해 시계열 예측의 동기를 제시한다.
• 전역 스펙트럼 뷰와 에너지 압축을 활용하여 의존성을 포착하는 주파수 도메인 학습 프레임워크(FreTS)를 제안한다.
• 변환된 주파수 성분에서 작동하는 두 개의 주파수 학습기(채널 및 시간)를 설계하여 시계열 간(inter-series) 및 시계열 내(intra-series) 역학을 모델링한다.
• 13개의 실제 데이터셋에서 FreTS의 효과성과 효율성을 입증하고 최첨단 방법과 비교한다.
• FreMLP와 두 주파수 학습기의 기여를 검증하기 위한 제거 실험(ablation) 및 호환성 분석을 제시하여 기여를 검증한다.

제안 방법

• 이산 푸리에 변환(DFT)을 통해 시간 도메인 입력을 주파수 도메인으로 변환하여 실수부/허수부 성분을 얻는다.
• 두 개의 주파수 학습기: Frequency Channel Learner(채널 간 의존성을 다루고)와 Frequency Temporal Learner(시간적 의존성을 다루며) 주파수 표현에서 작동한다.
• FreMLP(복소 값 MLP)를 사용하여 실수부와 허수부에 대해 각각 매핑을 학습하고 이를 결합하여 주파수 도메인 출력을 형성한다.
• 채널 및 시간 차원 모두에서 도메인 변환 및 역변환을 수행하여 스펙트럴 학습을 가능하게 하고 이후 시계열 도메인으로의 재구성을 수행한다.
• 주파수 도메인 처리 전에 표현을 풍부하게 하기 위해 학습 가능한 차원 확장 블록으로 입력을 확장한다.
• 오류 누적을 피하기 위해 최종 수평 예측을 생성하기 위한 두 계층 프로젝션(FFN)으로 마무리한다.

(a) Left : time domain. Right : frequency domain.

실험 결과

연구 질문

• RQ1 FreTS가 단기 및 장기 벤치마크에서 최첨단 예측 모델과 비교해 어떤 성능을 보이는가?
• RQ2 FreTS의 성능에 대한 주파수 채널 학습기와 주파수 시간 학습기의 공헌은 무엇인가?
• RQ3 FreMLP를 기존의 MLP 기반 예측 모델에 삽입하면 측정 가능한 이득이 있는가?
• RQ4 Transformer- 및 GNN 기반 기준선과 비교한 FreTS의 효율성 특성은 어떤가?

주요 결과

• FreTS는 13개의 실제 데이터셋에서 단기 및 장기 예측 모두에서 지속적으로 기준선보다 우수한 성능을 보인다.
• 얼리레이션(ablations)에서 주파수 채널 학습기는 단기 예측에 실질적으로 이익을 주는 반면, 주파수 시간 학습기는 장기 예측에 강한 효과를 보인다.
• DLinear 및 NLinear에서 FreMLP를 기존 MLP로 대체하면 데이터셋 전반에서 성능이 향상된다(예: Exchange 및 Weather).
• FreTS는 복잡도가 O(N log N + L log L)이고, 파라미터 수와 학습 시간이 여러 Transformer- 및 GNN 기반 방법 대비 우수한 효율성을 보인다.
• 채널 및 시간 차원의 2단계 도메인 접근 방식은 글로벌 스펙트럴 의존성과 에너지 초점 표현 학습을 가능하게 하여 예측 성능 향상에 기여한다.

(b) Left : time domain. Right : frequency domain.