[논문 리뷰] FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forecasting

Tian Zhou, Ziqing Ma외 6명|arXiv (Cornell University)|2022. 05. 18.

Stock Market Forecasting Methods인용 수 103

한 줄 요약

FiLM은 Frequency Improved Legendre Memory Model을 도입하여 Legendre 프로젝션과 Fourier 기반 노이즈 감소 및 저랭크 근사를 결합해 장기 예측에서 과거 정보를 견고하게 보존하고, 다수의 데이터셋에서 최첨단 성능을 달성한다.

ABSTRACT

Recent studies have shown that deep learning models such as RNNs and Transformers have brought significant performance gains for long-term forecasting of time series because they effectively utilize historical information. We found, however, that there is still great room for improvement in how to preserve historical information in neural networks while avoiding overfitting to noise presented in the history. Addressing this allows better utilization of the capabilities of deep learning models. To this end, we design a extbf{F}requency extbf{i}mproved extbf{L}egendre extbf{M}emory model, or {\bf FiLM}: it applies Legendre Polynomials projections to approximate historical information, uses Fourier projection to remove noise, and adds a low-rank approximation to speed up computation. Our empirical studies show that the proposed FiLM significantly improves the accuracy of state-of-the-art models in multivariate and univariate long-term forecasting by ( extbf{20.3\%}, extbf{22.6\%}), respectively. We also demonstrate that the representation module developed in this work can be used as a general plug-in to improve the long-term prediction performance of other deep learning modules. Code is available at https://github.com/tianzhou2011/FiLM/

연구 동기 및 목표

• 소음을 억제하면서 유용한 과거 정보를 보존하여 강건한 장기 시계열 예측을 이끈다.
• 예측 정확도를 높이기 위해 주파수 도메인 필터링으로 강화된 Legendre 프로젝션 기반 표현 프레임워크를 개발한다.
• 다양한 백본의 장기 예측 성능을 향상시키는 플러그인으로 사용할 수 있는 모듈형 아키텍처(LPU 및 FEL)를 만든다.
• FiLM이 다양한 실제 데이터셋에서 우수한 정확도와 효율성을 달성함을 입증하고, 구성 요소의 영향을 분석한다.

제안 방법

• Legendre 다항식 프로젝션을 사용하여 Legendre Projection Unit(LPU)를 통해 고정 크기 메모리를 업데이트하며 과거 정보를 압축한다.
• 주파수 강화 계층(FEL)을 도입하여 푸리에 분석과 저랭크 근사의 결합을 통해 차원 축소와 노이즈를 감소시킨다.
• 다양한 시계 시간대(T, 2T, ..., nT)에서 정보를 포착하기 위해 다중 스케일 전문가의 혼합을 활용한다.
• 강인성을 향상시키기 위해 선택적으로 RevIN 데이터 정규화를 적용하되 학습 속도가 느려질 수 있음을 인식한다.
• Legendre 프로젝션 정확도, 노이즈 누적, 부분 푸리에 기반 계수 샘플링의 효능을 연결하는 이론적 결과(Theorems 1–3)를 제공합니다.

실험 결과

연구 질문

• RQ1 잡음이 많은 과거 데이터에 과적합되지 않으면서 장기 예측을 위해 역사 정보를 어떻게 보존할 수 있는가?
• RQ2 주파수 도메인 계층이 Legendre 기반 표현을 효과적으로 노이즈 제거하여 예측 정확도를 향상시킬 수 있는가?
• RQ3 다중 스케일 전문가의 혼합이 도메인 간 장기 예측을 개선하는가?
• RQ4 FiLM이 기존 예측 백본을 Legendre-FEL 표현으로 개선하는 플러그인으로 작용할 수 있는가?

주요 결과

• FiLM은 다변량 및 단변량 장기 예측 모두에 대해 여섯 개 벤치마크 데이터셋에서 최신 모델 대비 예측 정확도를 크게 향상시켰다.
• 실험 전반에서 FiLM은 FEDformer에 비해 다변량 예측에서 최대 20.3% 상대 MSE 감소, 단변량 예측에서 최대 22.6% 상대 MSE 감소를 달성했다.
• FEL의 저랭크 근사는 학습 가능한 매개변수를 최소 0.1%–0.4%까지 줄여 최소한의 정확도 손실로 상당한 메모리 절약을 가능하게 한다.
• LPU 계층은 백본(MLP, LSTM, CNN, Attention) 전반에 걸쳐 향상 효과를 제공하며, 종종 유사한 선형 기초 모델보다 우수하다.
• 일반적인 다중 스케일 구조가 일관되게 성능을 향상시키는 반면, RevIN은 선택 사항이며 데이터세트에 따라 효과가 다를 수 있다.