[논문 리뷰] CycleNet: Enhancing Time Series Forecasting through Modeling Periodic Patterns

Shengsheng Lin, Weiwei Lin외 4명|arXiv (Cornell University)|2024. 09. 27.

Time Series Analysis and Forecasting인용 수 6

한 줄 요약

CycleNet은 학습 가능한 순환 사이클로 주기적 패턴을 명시적으로 모델링하는 Residual Cycle Forecasting (RCF)을 도입하여, 경량 백본인 Linear 또는 얕은 MLP를 사용하면서도 장기 예측 성능을 향상시킨다.

ABSTRACT

The stable periodic patterns present in time series data serve as the foundation for conducting long-horizon forecasts. In this paper, we pioneer the exploration of explicitly modeling this periodicity to enhance the performance of models in long-term time series forecasting (LTSF) tasks. Specifically, we introduce the Residual Cycle Forecasting (RCF) technique, which utilizes learnable recurrent cycles to model the inherent periodic patterns within sequences, and then performs predictions on the residual components of the modeled cycles. Combining RCF with a Linear layer or a shallow MLP forms the simple yet powerful method proposed in this paper, called CycleNet. CycleNet achieves state-of-the-art prediction accuracy in multiple domains including electricity, weather, and energy, while offering significant efficiency advantages by reducing over 90% of the required parameter quantity. Furthermore, as a novel plug-and-play technique, the RCF can also significantly improve the prediction accuracy of existing models, including PatchTST and iTransformer. The source code is available at: https://github.com/ACAT-SCUT/CycleNet.

연구 동기 및 목표

• 장기 시계열 예측에서 공유 주기 패턴의 역할과 영향을 식별한다.
• 학습 가능한 순환으로 주기적 패턴을 명시적으로 모델링하기 위해 Residual Cycle Forecasting (RCF)을 제안한다.
• 단순한 백본(CycleNet/Linear 또는 CycleNet/MLP)과 RCF를 결합하여 CycleNet을 개발한다.
• 전력, 기상, 에너지 등 다양한 도메인에서 효율성 향상과 광범위한 적용 가능성을 보여준다.
• RCF가 기존 모델을 플러그-앤-플레이 모듈로 개선할 수 있음을 보여준다.

제안 방법

• 채널 간의 전역 주기적 패턴을 모델링하기 위해 모양이 W x D인 학습 가능한 순환 사이클 Q를 정의한다.
• 입력 창과 정렬되도록 Q를 전역 공유하고 순환적으로 복제하여 순환 구성요소를 구축한다.
• 입력에서 순환 구성요소를 제거하여 잔차 예측을 수행하고, 백본으로 잔차를 예측한 뒤 예측된 순환을 다시 더한다.
• 백본 옵션으로는 단일 층 Linear 또는 채널 독립 파라미터 공유를 갖는 이중층 MLP를 포함한다.
• 강건성을 높이기 위해 입력/출력에 원한다면 Instance Normalization(RevIN 스타일)을 적용한다.
• 기준 모델과의 공정한 비교를 위해 평균 제곱 오차(MSE) 손실로 최적화한다.

실험 결과

연구 질문

• RQ1 학습 가능한 순환으로 명시적으로 주기 패턴을 모델링하는 것이 장기 시계열 예측을 개선할 수 있는가?
• RQ2 RCF 기법이 단순 백본(Linear/MLP)과 상호작용하여 최첨단 결과를 달성하는 방식은 무엇인가?
• RQ3 RCF가 기존 모델을 향상시키는 플러그-앤-플레이 모듈로서 이식 가능한가?
• RQ4 트랜스포머 기반 또는 심층 모델과 비교한 CycleNet의 효율성은 어떤 의미가 있는가?
• RQ5 사이클 길이 선택 W가 데이터셋 전반의 성능에 어떤 영향을 미치는가?

주요 결과

• 간단한 백본을 사용한 RCF가 전력, 기상, Solar-Energy 등 여러 도메인에서 장기 예측에 대해 최첨단 결과를 달성하며, CycleNet/MLP가 종종 1위를, CycleNet/Linear가 2위를 차지한다.
• RCF는 W×D의 추가 파라미터만 필요하고 추가 MAC이 없어 상당한 효율성을 제공하며 CycleNet 변형에서 파라미터를 90% 이상 줄인다.
• RCF는 CycleNet뿐 아니라 기존 모델(PatchTST, iTransformer 등)도 플러그-앤-플레이 모듈로 개선한다.
• RCF의 성능 향상은 명확한 주기 패턴이 있는 데이터셋에서 특히 강력하며(예: Electricity, Solar-Energy); W의 정렬이 어긋나면 이점이 감소하거나 기본 모델과 비슷해질 수 있다.
• 학습된 주기 패턴은 다양한 채널별 사이클을 시각화하여 이 방법이 고유한 주기성을 포착할 수 있음을 검증한다.