[논문 리뷰] How Much Can Time-related Features Enhance Time Series Forecasting?

Chaolv Zeng, Yuan Tian외 2명|arXiv (Cornell University)|2024. 12. 02.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

이 논문은 장기 시계열 예측 성능을 향상시키기 위해 시간과 관련된 특징(예: 시각, 요일, 월)을 명시적으로 인코딩하는 경량 모듈 TimeSter를 제안한다. 선형 백본과 TimeSter를 통합해 구성한 TimeLinear 모델은 Electricity 및 Traffic과 같은 벤치마크 데이터셋에서 평균적으로 MSE가 23% 감소했으며, 상태기반 모델들을 능가하면서도 훨씬 적은 파라미터를 사용한다.

ABSTRACT

Recent advancements in long-term time series forecasting (LTSF) have primarily focused on capturing cross-time and cross-variate (channel) dependencies within historical data. However, a critical aspect often overlooked by many existing methods is the explicit incorporation of extbf{time-related features} (e.g., season, month, day of the week, hour, minute), which are essential components of time series data. The absence of this explicit time-related encoding limits the ability of current models to capture cyclical or seasonal trends and long-term dependencies, especially with limited historical input. To address this gap, we introduce a simple yet highly efficient module designed to encode time-related features, Time Stamp Forecaster (TimeSter), thereby enhancing the backbone's forecasting performance. By integrating TimeSter with a linear backbone, our model, TimeLinear, significantly improves the performance of a single linear projector, reducing MSE by an average of 23\% on benchmark datasets such as Electricity and Traffic. Notably, TimeLinear achieves these gains while maintaining exceptional computational efficiency, delivering results that are on par with or exceed state-of-the-art models, despite using a fraction of the parameters.

연구 동기 및 목표

• 장기 시계열 예측에서 시간과 관련된 특징(예: 시각, 요일, 월)이 아직 충분히 활용되지 않는 잠재력을 탐색하는 것.
• 기존 모델이 과거 관측치에만 집중하고 타임스탬프에 포함된 주기적 또는 계절적 패턴을 忽시하는 한계를 해결하는 것.
• 모델 복잡도를 증가시키지 않고도 예측 성능을 향상시키는 단순하고 효율적이며 즉시 통합 가능한 모듈을 설계하는 것.
• 시간과 관련된 특징만으로도 안정적인 계절 패턴에서 강력한 예측 성능을 낼 수 있음을 입증하는 것.
• 시간 특징 인코딩과 선형 백본을 조합한 경량이지만 강력한 모델인 TimeLinear를 개발하여 높은 효율성과 정확도를 확보하는 것.

제안 방법

• 시간과 관련된 특징(예: 시각, 주중, 월, 계절)을 공통 잠재 공간에 인코딩하는 학습 가능한 임베딩 모듈인 TimeSter를 도입한다.
• 저차원 잠재 표현으로 시간 특징을 투사하기 위해 복합 구조를 가진 다층 퍼셉트론(MLP)을 사용한다.
• 시간 임베딩 표현과 과거 多변량 시계열을 가중치가 학습 가능한 조합을 통해 무게 계수 β를 사용해 융합한다.
• TimeSter를 선형 백본(TimeLinear)에 통합하여, 최종 예측은 단일 선형 투영층을 통해 이루어지도록 한다.
• 학습 안정성 향상과 일반화 성능 향상을 위해 시간 특징 임베딩에 위치 인코딩과 정규화를 적용한다.
• 각 데이터셋에 맞게 초모델을 최적화하기 위해 MSE 손실을 사용하고, 하이퍼파ram터를 조정한다.

실험 결과

연구 질문

• RQ1 시각, 요일, 계절과 같은 시간과 관련된 특징을 명시적으로 인코딩하면 장기 시계열 예측 성능이 크게 향상되는가?
• RQ2 과거 관측치에 기반한 예측과 시간과 관련된 특징에 기반한 예측 간의 성능 차이는 어떻게 되는가?
• RQ3 Electricity, Traffic, ETTh1와 같은 다양한 데이터셋에서 시간과 관련된 특징의 통합이 모델 성능 향상에 어느 정도 기여하는가?
• RQ4 TimeSter 모듈의 최적 하이퍼파ram터 구성(예: β, 커널 크기, 히든 레이어 크기)은 무엇인가?
• RQ5 시간 특징 인코딩을 통한 단순한 선형 모델이 복잡한 최신 기반 아키텍처를 능가할 수 있는가?

주요 결과

• TimeLinear는 Electricity 및 Traffic과 같은 벤치마크 데이터셋에서 표준 선형 프로젝터 대비 평균적으로 MSE가 23% 감소했다.
• 96단계의 과거 관측과 720단계의 예측 수평선에서 Electricity 데이터셋에서 TimeSter를 통해 시간과 관련된 특징만을 사용한 예측이 모든 베이스라인을 능가했으며, 시간 패턴의 예측 능력을 입증했다.
• 모델은 높은 효율성을 유지했으며, Electricity 데이터셋에서 가장 성능이 뛰어난 트랜스포머 기반 모델 대비 파라미터의 1.5%만으로도 최신 기술 수준의 성능를 달성했다.
• 하이퍼파ram터 민감도 분석 결과, 무게 계수 β와 커널 크기 ksize가 성능에 상당한 영향을 미치며, 최적 값은 데이터셋에 따라 달라졌다.
• 히든 레이어 크기가 너무 크거나 너무 작을 경우 성능이 떨어지므로, 모델링 능력과 효율성을 균형 있게 유지하기 위해 주의 깊은 하이퍼파ram터 튜닝이 필요하다.
• 시각화 결과 TimeSter가 주기적 및 계절적 추세를 효과적으로 포착하는 반면, 과거 관측치에 의존하는 베이스라인 모델은 추세에서 벗어난 경우에 어려움을 겪는 것으로 확인되었다.