[논문 리뷰] Self-Supervised Contrastive Learning for Long-term Forecasting

Junwoo Park, Daehoon Gwak외 2명|arXiv (Cornell University)|2024. 02. 03.

Forecasting Techniques and Applications인용 수 4

한 줄 요약

이 논문은 기존 슬라이딩 윈도우의 범위를 초월하여 장기적인 시간적 의존성을 명시적으로 포착하는 자기지도 학습 대비 학습 프레임워크를 제안한다. 전체 시계열의 전역 자기상관을 활용하여 먼 거리의 윈도우 간에 양성 및 음성 쌍을 형성하고, 이를 재설계된 분해 아키텍처와 통합함으로써 예측 정확도를 크게 향상시켰다. 이 방법은 9개의 장기 예측 벤치마크에서 14개의 베이스라인을 모두 능가하며, 특히 장기 예측이 필요한 시나리오에서 뛰어난 성능을 보였다.

ABSTRACT

Long-term forecasting presents unique challenges due to the time and memory complexity of handling long sequences. Existing methods, which rely on sliding windows to process long sequences, struggle to effectively capture long-term variations that are partially caught within the short window (i.e., outer-window variations). In this paper, we introduce a novel approach that overcomes this limitation by employing contrastive learning and enhanced decomposition architecture, specifically designed to focus on long-term variations. To this end, our contrastive loss incorporates global autocorrelation held in the whole time series, which facilitates the construction of positive and negative pairs in a self-supervised manner. When combined with our decomposition networks, our contrastive learning significantly improves long-term forecasting performance. Extensive experiments demonstrate that our approach outperforms 14 baseline models in multiple experiments over nine long-term benchmarks, especially in challenging scenarios that require a significantly long output for forecasting. Source code is available at https://github.com/junwoopark92/Self-Supervised-Contrastive-Forecsating.

연구 동기 및 목표

• 기존의 슬라이딩 윈도우 기반 모델이 개별 윈도우를 초월하는 장기적인 시간적 변동성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 유사하지만 먼 거리에 있는 시간 윈도우 간의 주기적 또는 장거리 상관관계를 학습하는 데 실패하는 표준 모델의 문제를 해결하기 위해.
• 전체 시계열에서 전역 자기상관을 사용하여 의미 있는 양성 및 음성 쌍을 형성하는 대비 학습 목표를 설계하기 위해.
• 제안된 대비 손실에서 충분한 능력을 갖춘 장기 분지에 대한 분해 기반 모델의 성능을 향상시키기 위해.
• 모델이 수치적으로 중요한 장기 추세를 유지할 수 있도록 정규화 기법과의 호환성을 유지하기 위해.

제안 방법

• 전체 시계열의 전역 자기상관을 활용하여 시간적으로 떨어져 있지만 상관관계가 있는 윈도우에서 양성 쌍을 구성하는 자기지도 대비 손실을 도입한다.
• 이 대비 손실을 분해 기반 모델의 장기 분지에 특별히 적용하며, 표준 선형 레이어보다 높은 용량을 갖도록 재설계된 분지로 구성한다.
• 이중 분지 아키텍처를 사용한다: 국소 패턴을 위한 단기 분지와 전역적, 주기적 또는 추세 유사 성분을 위한 장기 분지.
• 유사한 장기 패턴(예: 연간 주기)의 표현이 임베딩 공간에서 멀리 떨어져 있더라도 가까이 있도록 유도하는 대비 학습 목표를 적용한다.
• 윈도우 수준의 정규화를 통합하면서도, 중요한 장기 값(예: 최댓값/최솟값)이 정확한 예측을 위해 유지되도록 보장한다.
• 다양한 시간적 위치에서 온 윈도우를 포함하는 미니배치를 사용하여 대비 손실을 통해 종합적으로 모델을 훈련함으로써 장거리 의존성을 학습할 수 있도록 한다.

Figure 1: Long-term variations span beyond the conventional window. There are non-zero correlations (Left Y axis) with longer lags, and Fourier components (Right Y axis) with longer periods than the window size.

실험 결과

연구 질문

• RQ1 전역 자기상관을 활용하여 먼 거리의 윈도우 간의 전역 의존성을 포착함으로써 대비 학습을 장기 시계열 예측에 효과적으로 적용할 수 있는가?
• RQ2 전체 시계열을 활용해 양성 쌍을 형성하는 대비 손실은 윈도우 국소 학습 대비 장기 예측 성능을 향상시키는가?
• RQ3 분해 모델의 재설계된 장기 분지가 대비 신호를 효과적으로 학습하면서도 장기 추세를 유지할 수 있는가?
• RQ4 특히 높은 예측 길이 설정에서 상태기반 모델과 비교해 본다면 제안된 방법은 어떻게 성능을 내는가?
• RQ5 장기 예측 신호를 손실하지 않고도 표준 정규화 기법을 유지할 수 있는가?

주요 결과

• 제안된 방법은 9개의 장기 예측 벤치마크에서 최고 성능을 기록하며, 모든 설정에서 14개의 베이스라인을 모두 능가한다.
• 2160단계 예측 수준을 가진 ECL 데이터셋에서 모델은 평균 제곱 오차 0.261 ± 0.0078을 기록했으며, PatchTST(0.332)와 TimesNet(0.417)보다 유의미하게 낮다.
• 모델은 더 높은 코사인 유사도를 통해 뛰어난 표현 학습 능력을 보였으며, 예를 들어 연간 주기와 같은 먼 거리에 있는 유사한 윈도우 간의 유사성을 잘 포착한다. 반면 기존 모델은 이를 비슷하지 않게 간주한다.
• 1440단계 예측 수준을 가진 Weather 데이터셋에서 모델은 MAE 0.867 ± 0.0272를 기록했으며, PatchTST 및 TimesNet를 포함한 모든 베이스라인을 능가한다.
• Electricity, Exchange, ILI 등 다양한 데이터셋에서 뛰어난 강건성을 유지하며 장기 예측 성능에 일관된 향상을 보였다.
• 시각화 결과는 모델이 장기 주기적 패턴(예: 연간 주기)을 효과적으로 학습하는 반면, 베이스라인은 이러한 상관관계를 표현에서 포착하지 못한다는 것을 확인한다.

Figure 2: (Top) Electricity time series including a long-term variation beyond window size. (Bottom) Plotted representation similarities of four models between an anchor window $\mathcal{W}_{2}$ and all other windows including $\mathcal{W}_{1}$ and $\mathcal{W}_{3}$ . To clearly highlight long-term