[논문 리뷰] SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion

Lu Han, Xuyang Chen외 2명|arXiv (Cornell University)|2024. 04. 22.

Time Series Analysis and Forecasting인용 수 13

한 줄 요약

SOFTS는 중앙 집중식 STAD 모듈을 갖춘 간단한 MLP 기반 다변량 시계열 예측기로, 선형 복잡도에서 최첨단 성능을 달성하고 많은 모델에서 어텐션을 대체합니다.

ABSTRACT

Multivariate time series forecasting plays a crucial role in various fields such as finance, traffic management, energy, and healthcare. Recent studies have highlighted the advantages of channel independence to resist distribution drift but neglect channel correlations, limiting further enhancements. Several methods utilize mechanisms like attention or mixer to address this by capturing channel correlations, but they either introduce excessive complexity or rely too heavily on the correlation to achieve satisfactory results under distribution drifts, particularly with a large number of channels. Addressing this gap, this paper presents an efficient MLP-based model, the Series-cOre Fused Time Series forecaster (SOFTS), which incorporates a novel STar Aggregate-Redistribute (STAR) module. Unlike traditional approaches that manage channel interactions through distributed structures, extit{e.g.}, attention, STAR employs a centralized strategy to improve efficiency and reduce reliance on the quality of each channel. It aggregates all series to form a global core representation, which is then dispatched and fused with individual series representations to facilitate channel interactions effectively.SOFTS achieves superior performance over existing state-of-the-art methods with only linear complexity. The broad applicability of the STAR module across different forecasting models is also demonstrated empirically. For further research and development, we have made our code publicly available at https://github.com/Secilia-Cxy/SOFTS.

연구 동기 및 목표

• 채널 간 상관관계를 활용하면서도 2차 복잡도(quadratic complexity)를 초래하지 않는 강건한 다변량 예측을 고무합니다.
• STAD 모듈을 통해 선형 복잡도를 갖는 MLP 기반 예측기인 SOFTS를 제안합니다.
• STAD가 트랜스포머 기반 예측기에서 어텐션을 대체하되 성능을 유지하거나 향상시킬 수 있음을 보입니다.
• 다수의 채널 수와 긴 lookback 길이에 대해 스케일러빌리티를 입증합니다.

제안 방법

• 각 시계열 채널을 시리즈 임베딩을 통해 임베딩하고 S0를 R^{C x d}로 얻습니다.
• MLP와 확률적 풀링을 통해 글로벌 코어를 계산하는 STAD 층으로 임베딩을 반복적으로 정교화한 뒤, 잔차 연결을 가진 Repeat_Concat 및 MLP2를 통해 코어를 각 채널과 융합합니다.
• STAD는 어텐션 기반 모듈에 비해 상호 작용 패턴을 중앙 집중화하여 복잡도를 2차에서 선형으로 감소시킵니다.
• 최종 채널 표현을 예측 수평선 H로 매핑하기 위해 선형 예측기를 사용합니다.
• ADAM 최적화, MSE 손실, 그리고 하이퍼파라미터로 L=96의 lookback 및 horizons {12,24,48,96} (PEMS) 또는 {96,192,336,720} (다른 경우)를 포함하여 평가합니다.

실험 결과

연구 질문

• RQ1 중앙 집중식 STAD 모듈이 선형 확장성을 유지하면서 채널 간 상관관계를 효과적으로 포착할 수 있는가?
• RQ2 트랜스포머 기반 예측기에서 어텐션을 STAD로 대체하면 예측 정확도가 유지되거나 향상되는가?
• RQ3 많은 채널과 다양한 lookback 창이 있는 데이터셋에서 SOFTS의 성능은 어떠한가?
• RQ4 어텐션 기반 방법과 비교했을 때 STAD가 메모리/시간 효율성에 미치는 영향은 무엇인가?
• RQ5 은닉 차원 d, 코어 차원 d', 및 계층 수 N과 같은 하이퍼파라미터에 대한 성능 민감도는 어느 정도인가?

주요 결과

• SOFTS는 채널 수와 창 길이에 선형 복잡도로 여섯 개의 실제 데이터 세트에서 최신 이론치 수준 혹은 경쟁력 있는 성능을 달성합니다.
• STAD는 상호 작용 복잡도를 2차에서 선형으로 감소시키고 풀링 방법에 걸쳐 성능을 유지하거나 향상시키며, 확률적 풀링이 최상의 성능을 보입니다.
• PatchTST, iTransformer, Crossformer에서 어텐션을 STAD로 대체하면 여러 데이터 세트에서 성능을 유지하거나 향상시킬 수 있어 STAD의 보편성을 강조합니다.
• SOFTS는 채널 수가 매우 많은 데이터 세트(예: 수백 채널의 Traffic)까지 확장 가능하며 Transformer 기반 모델에 비해 메모리/시간 특성이 우수합니다.
• lookback 창 확장은 일반적으로 SOFTS의 성능을 향상시키며, 더 큰 은닉 차원과 인코더 깊이가 Traffic 및 PEMS와 같이 매우 복잡한 데이터 세트에서 이점을 제공합니다.