[논문 리뷰] FECAM: Frequency Enhanced Channel Attention Mechanism for Time Series Forecasting

Maowei Jiang, Pengyu Zeng외 4명|arXiv (Cornell University)|2022. 12. 02.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 논문은 이산余弦변환(DCT) 기반의 주파수 강화 채널 주의 메커니즘(FECAM)을 제안하여 시간 시리즈 예측 성능을 향상시킨다. 이는 채널 간 주파수 도메인 상관관계를 모델링함으로써 이루어지며, 푸리에 변환과는 달리 지브스 현상(Gibbs phenomenon)을 피하고 효율적인 에너지 집약성을 제공한다. 이로 인해 기존의 트랜스포머, LSTM, 인포머 등의 모델에 몇 줄의 코드로 통합할 수 있으며, 최소한의 계산 오버헤드로도 여섯 개의 실세계 데이터셋에서 최고 성능을 기록한다.

ABSTRACT

Time series forecasting is a long-standing challenge due to the real-world information is in various scenario (e.g., energy, weather, traffic, economics, earthquake warning). However some mainstream forecasting model forecasting result is derailed dramatically from ground truth. We believe it's the reason that model's lacking ability of capturing frequency information which richly contains in real world datasets. At present, the mainstream frequency information extraction methods are Fourier transform(FT) based. However, use of FT is problematic due to Gibbs phenomenon. If the values on both sides of sequences differ significantly, oscillatory approximations are observed around both sides and high frequency noise will be introduced. Therefore We propose a novel frequency enhanced channel attention that adaptively modelling frequency interdependencies between channels based on Discrete Cosine Transform which would intrinsically avoid high frequency noise caused by problematic periodity during Fourier Transform, which is defined as Gibbs Phenomenon. We show that this network generalize extremely effectively across six real-world datasets and achieve state-of-the-art performance, we further demonstrate that frequency enhanced channel attention mechanism module can be flexibly applied to different networks. This module can improve the prediction ability of existing mainstream networks, which reduces 35.99% MSE on LSTM, 10.01% on Reformer, 8.71% on Informer, 8.29% on Autoformer, 8.06% on Transformer, etc., at a slight computational cost ,with just a few line of code. Our codes and data are available at https://github.com/Zero-coder/FECAM.

연구 동기 및 목표

• 주류 시간 시리즈 모델이 주파수 도메인 패턴, 특히 실세계 데이터에 풍부한 저주파 성분을 포착하는 데에 한계가 있음을 해결하기 위해.
• 푸리에 변환 기반 주파수 모델링에서 유발되는 지브스 현상으로 인해 신호 경계에서 고주파 노이즈가 발생하는 문제를 해결하기 위해.
• 기존 모델들인 트랜스포머, LSTM, 인포머 등에 주파수 인지 표현 학습 능력을 향상시킬 수 있는 일반적인, 경량의 모듈을 설계하기 위해.
• 다양한 실세계 시간 시리즈 벤치마크에서 최고 성능을 달성하면서도 계산 비용을 최소화하기 위해.

제안 방법

• 채널 간 주파수 도메인 상관관계를 모델링하기 위해 이산余弦변환(DCT)을 활용하는 주파수 강화 채널 주의 메커니즘(FECAM)을 제안한다.
• 지브스 현상을 피하고 더 부드러운 경계 근사화를 보장하기 위해 푸리에 변환 대신 DCT를 사용한다.
• 학습된 채널 가중치를 적용하여 각 채널에서 중요한 주파수를 강조함으로써 채널 간 및 주파수 내 관계를 함께 모델링한다.
• 기존 아키텍처인 트랜스포머, 인포머, LSTM 등에 최소한의 아키텍처 변경으로 플러그인 모듈로 통합한다.
• DCT의 에너지 집약성 특성을 활용하여 적은 주파수 성분으로도 효율적인 신호 재구성한다.
• 최종 FECAM 버전에서 투영 레이어를 도입하여 파라미터를 줄이고 과적합을 완화함으로써 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 주파수 도메인 모델링은 주류 시간 시리즈 예측 모델의 예측 정확도를 향상시킬 수 있는가?
• RQ2 푸리에 변환을 이산余弦변환으로 대체함으로써 지브스 현상은 감소하고 시간 시리즈 예측에서 경계 근사화가 향상되는가?
• RQ3 주파수 인지 주의 메커니즘은 트랜스포머, LSTM, 인포머와 같은 다양한 아키텍처에 일반화될 수 있는가?
• RQ4 DCT의 에너지 집약성 특성은 DFT에 비해 적은 성분으로 시간 시리즈 신호를 재구성할 때 어떻게 비교되는가?
• RQ5 FECAM은 주파수 성분이 다양한 실세계 데이터셋에서 얼마나 성능을 향상시키는가?

주요 결과

• FECAM은 ETTm2, 환전, 기상 등 여섯 개의 실세계 시간 시리즈 데이터셋에서 최고 성능을 기록한다.
• LSTM에서는 MSE를 35.99% 감소시키며, Reformer에서는 10.01%, Informer에서는 8.71%, Autoformer에서는 8.29%, Transformer에서는 8.06% 감소시킨다.
• 강한 저주파 에너지를 지닌 데이터셋(예: ETTm2, 기상)에서는 FECAM이 가장 큰 성능 향상을 기록하지만, 저주파 성분이 덜 두드러진 교통 데이터셋에서는 성능 향상이 더 작다.
• 시각화 결과 FECAM이 의미 있는 주파수-채널 주의 패턴을 효과적으로 학습하며, 주파수 인지 표현을 포착하는 데서 표준 주의 메커니즘을 능가함을 확인했다.
• DCT 기반 재구성은 DFT에 비해 더 우수한 에너지 집약성을 보이며, 동일하거나 더 나은 신호 정밀도를 달성하기 위해 더 적은 성분을 필요로 한다.
• FECAM 모듈은 매우 일반화 능력이 뛰어나며, 몇 줄의 코드로 기존 모델에 통합 가능하며, 계산 오버헤드도 낮게 유지된다.