[논문 리뷰] CoST: Contrastive Learning of Disentangled Seasonal-Trend Representations for Time Series Forecasting

Gerald Woo, Chenghao Liu외 3명|arXiv (Cornell University)|2022. 02. 03.

Time Series Analysis and Forecasting인용 수 86

한 줄 요약

CoST는 시간 도메인 및 주파수 도메인 대조 학습으로 disentangled trend와 seasonal 표현을 학습하고, 간단한 회귀기를 사용하여 다변량 및 단변량 장기간 시퀀스 벤치마크에서 최첨단 예측 성능을 달성합니다.

ABSTRACT

Deep learning has been actively studied for time series forecasting, and the mainstream paradigm is based on the end-to-end training of neural network architectures, ranging from classical LSTM/RNNs to more recent TCNs and Transformers. Motivated by the recent success of representation learning in computer vision and natural language processing, we argue that a more promising paradigm for time series forecasting, is to first learn disentangled feature representations, followed by a simple regression fine-tuning step -- we justify such a paradigm from a causal perspective. Following this principle, we propose a new time series representation learning framework for time series forecasting named CoST, which applies contrastive learning methods to learn disentangled seasonal-trend representations. CoST comprises both time domain and frequency domain contrastive losses to learn discriminative trend and seasonal representations, respectively. Extensive experiments on real-world datasets show that CoST consistently outperforms the state-of-the-art methods by a considerable margin, achieving a 21.3% improvement in MSE on multivariate benchmarks. It is also robust to various choices of backbone encoders, as well as downstream regressors. Code is available at https://github.com/salesforce/CoST.

연구 동기 및 목표

• 관측 데이터에서 계절성 및 추세 구성을 구분하는 시계열 예측을 위한 표현 학습 패러다임을 제안한다.
• 시간 도메인과 주파수 도메인에서 대조 손실을 사용하여 구분된 계절-추세 표현을 학습하는 CoST를 제안한다.
• 실세계의 다변량 및 단변량 데이터셋에서의 강건성 및 우수한 예측 성능을 보여준다.

제안 방법

• 시계열을 추세(trend), 계절(seasonal), 오차(error) 구성요소의 합으로 표현하여 인과적 관점에서 disentangled 표현을 정당화한다.
• X(h x m)를 잠재 표현 V(h x d)으로 매핑하는 백본 인코더 f_b를 도입한다.
• 추세 특징 해소기(TFD): 서로 다른 커널 크기(2^i)의 자기회귀 1D 인과 합성곱과 평균 풀링의 혼합으로 구성되며, 시간-domain MoCo 스타일 대조 손실(L_time)로 학습된다.
• 계절 특징 해소기(SFD): 주파수-domain 특징을 얻기 위해 FFT를 적용하고, 학습 가능한 주파수별 복소수 선형 레이어를 통과시킨 뒤 역 Fourier 변환으로 V^(S)를 얻고, 주파수-domain 대조 손실(L_amp + L_phase)로 학습한다.
• 전체 목표: L = L_time + (alpha/2) (L_amp + L_phase).
• 다양한 애블레이션을 통해 백본과 다운스트림 회귀기의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 해체된 계절-추세 표현이 엔드-투-엔드 방법과 비교하여 장기간 시계열 예측을 향상시킬 수 있는가?
• RQ2 오차 구성요소의 분포 변화(distribution shifts) 하에서 시간 도메인 및 주파수 도메인 대조 손실이 견고한 추세 및 계절 표현을 제공하는가?
• RQ3 아키텍처 선택(TFD/SFD)과 학습 가능한 푸리에(Fourier) 레이어가 예측 정확도와 일반화에 어떤 영향을 미치는가?

주요 결과

• CoST는 경쟁적인 표현 학습 기초 모델 대비 다변량 벤치마크에서 MSE를 21.3% 감소시키는 등 최첨단 예측 성능을 달성한다.
• CoST는 다양한 백본 인코더(TCN, LSTM, Transformer)와 다운스트롬 회귀기(ridge, linear, kernel ridge)에 대해 강건하다.
• 아블레이션 결과 추세와 계절 구성요소 모두가 이익에 기여하고, 이들의 결합이 최상의 결과를 낳는다.
• 주파수-도메인 대조 손실은 계절 주기를 명시적으로 알 필요 없이 판별력 있는 계절 표현을 효과적으로 학습하게 한다.
• 경험적 분석 및 사례 연구를 통해 학습된 계절 및 추세 표현의 명확한 분리 가능성과 군집화 가능성을 시사한다.