[논문 리뷰] SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters

Shengsheng Lin, Weiwei Lin외 3명|arXiv (Cornell University)|2024. 05. 02.

Stock Market Forecasting Methods인용 수 8

한 줄 요약

SparseTSF는 초경량의 장기 시계열 예측 모델로(매개변수 < 1k) 주기성과 추세를 Cross-Period Sparse Forecasting으로 분리하여 경쟁력 있는 정확도를 달성합니다.

ABSTRACT

This paper introduces SparseTSF, a novel, extremely lightweight model for Long-term Time Series Forecasting (LTSF), designed to address the challenges of modeling complex temporal dependencies over extended horizons with minimal computational resources. At the heart of SparseTSF lies the Cross-Period Sparse Forecasting technique, which simplifies the forecasting task by decoupling the periodicity and trend in time series data. This technique involves downsampling the original sequences to focus on cross-period trend prediction, effectively extracting periodic features while minimizing the model's complexity and parameter count. Based on this technique, the SparseTSF model uses fewer than *1k* parameters to achieve competitive or superior performance compared to state-of-the-art models. Furthermore, SparseTSF showcases remarkable generalization capabilities, making it well-suited for scenarios with limited computational resources, small samples, or low-quality data. The code is publicly available at this repository: https://github.com/lss-1138/SparseTSF.

연구 동기 및 목표

• 최적의 계산 자원으로 정확한 장기 예측의 도전을 해결한다.
• 데이터의 고유 주기성을 활용하여 주기성과 추세를 분리한다.
• 매개변수가 매우 적은 상태에서도 경쟁력 있거나 우수한 성능을 유지하는 경량 모델을 개발한다.
• 저자원 시나리오에서 일반화 및 효율성 우위를 시연한다.

제안 방법

• 시간 시퀀스를 w 개의 서브시퀀스로 다운샘플링하고 각 서브시퀀스에 공유 매개변수를 갖는 선형 예측기를 적용하여 Cross-Period Sparse Forecasting을 도입한다.
• 희소 예측 전에 슬라이딩 집계(1D 컨볼루션)로 정보 손실과 이상치 민감도를 해결한다.
• 평균 차감으로 입력을 정규화하고 출력에 평균을 다시 더하여 분포 이동을 완화한다.
• 학습을 위해 간단한 평균 제곱 오차 손실을 사용한다.
• 매개변수 효율성과 Sparse 기법의 효과를 보여주는 이론적 분석을 제공한다.
• CI(Channel Independent) 전략하에 표준 데이터셋에서 최첨단 LTSF 모델과의 평가를 수행한다.

실험 결과

연구 질문

• RQ1 Cross-Period Sparse Forecasting이 주기성과 추세를 분리하여 매우 적은 매개변수로도 정확한 장기 예측을 가능하게 할 수 있는가?
• RQ2 주류 벤치마크에서 Sub-1k 매개변수를 사용하면서도 SparseTSF가 최첨단 LTSF 모델에 비해 어떠한 성능을 보이는가?
• RQ3 매개변수, MACs, 메모리, 런타임 등의 효율성 이점과 SparseTSF의 일반화 능력은 무엇인가?
• RQ4 선택된 주기 w에 대한 성능 민감도와 동일한 주기를 가진 도메인 간에 SparseTSF가 얼마나 잘 일반화되는가?

주요 결과

• SparseTSF는 1k 매개변수 미만으로 여러 LTSF 데이터셋에서 강력한 베이스라인과 견줄 만한 또는 더 우수한 MSE 성능을 달성한다.
• Sparse 기법은 주요 모델 대비 매개변수를 수십 배로 감소시키면서도 견고함(실험간 표준편차가 낮은)을 유지한다.
• 효율성 지표는 SparseTSF가 약 0.92k 매개변수와 약 12.7M MAC를 사용하고, 많은 베이스라인에 비해 메모리 및 학습 시간이 현저히 더 낮음을 보여준다.
• 특성 제거 연구는 Sparse 기법이 Linear, Transformer, GRU 베이스라인을 크게 향상시킴을 확인하여 이 방법의 광범용성을 시사한다.
• 교차 도메인 일반화 실험은 동일한 일일 주기를 가진 데이터 세트 간 전이 시 SparseTSF가 여러 베이스라인을 능가함을 보여준다.