[논문 리뷰] MSGNet: Learning Multi-Scale Inter-Series Correlations for Multivariate Time Series Forecasting

Wanlin Cai, Yuxuan Liang외 3명|arXiv (Cornell University)|2023. 12. 31.

Time Series Analysis and Forecasting인용 수 6

한 줄 요약

MSGNet은 주파수 도메인 분해와 적응형 그래프 컨볼루션을 사용하여 다변량 시계열 예측에서 다중 척도 간 상관관계를 포착하는 새로운 딥러닝 모델이다. 빠른 푸리에 변환(FFT)을 활용해 서로 다른 시간 척도를 분리하고, 학습 가능한 인접 행렬을 가진 척도별 그래프 컨볼루션을 적용함으로써, 실제 데이터셋에서 우수한 예측 정확도와 강건성을 달성하며, 분포 내 및 분포 외 설정 모두에서 최신 기술 모델을 능가한다.

ABSTRACT

Multivariate time series forecasting poses an ongoing challenge across various disciplines. Time series data often exhibit diverse intra-series and inter-series correlations, contributing to intricate and interwoven dependencies that have been the focus of numerous studies. Nevertheless, a significant research gap remains in comprehending the varying inter-series correlations across different time scales among multiple time series, an area that has received limited attention in the literature. To bridge this gap, this paper introduces MSGNet, an advanced deep learning model designed to capture the varying inter-series correlations across multiple time scales using frequency domain analysis and adaptive graph convolution. By leveraging frequency domain analysis, MSGNet effectively extracts salient periodic patterns and decomposes the time series into distinct time scales. The model incorporates a self-attention mechanism to capture intra-series dependencies, while introducing an adaptive mixhop graph convolution layer to autonomously learn diverse inter-series correlations within each time scale. Extensive experiments are conducted on several real-world datasets to showcase the effectiveness of MSGNet. Furthermore, MSGNet possesses the ability to automatically learn explainable multi-scale inter-series correlations, exhibiting strong generalization capabilities even when applied to out-of-distribution samples.

연구 동기 및 목표

• 다변량 시계열 예측에서 다중 시간 척도에 걸쳐 변화하는 상관관계를 모델링하는 데에 미치는 격차를 해결하기 위해.
• 다양한 시간 척도에서 변화하는 상관관계를 명시적으로 포착함으로써 예측 성능을 향상시키기 위해.
• 분포 외 샘플에 잘 일반화되는 설명 가능한 다중 척도 상관관계를 학습할 수 있는 모델을 개발하기 위해.
• 기존 모델들이 고정되거나 단일 척도의 그래프 구조에 의존하거나 척도 인식 없는 전체 길이 시퀀스 처리 방식을 사용하는 데서 비롯되는 한계를 극복하기 위해.

제안 방법

• MSGNet은 입력 시계열을 서로 다른 시간 척도로 분해하기 위해 빠른 푸리에 변환(FFT)을 적용하는 스케일 학습 및 변환 레이어를 사용한다. 이로써 주요 주기적 패턴을 분리할 수 있다.
• 각 식별된 시간 척도에 대해, 학습 가능한 인접 행렬을 가진 다중 적응형 그래프 컨볼루션 모듈을 사용하여 해당 척도에 특화된 상계 간 상관관계를 동적으로 모델링한다.
• 각 척도 내에서 시계열 간 시간적 의존성을 포착하기 위해 시간적 다중 헤드 자기주의 메커니즘을 통합함으로써 국소 패턴 모델링을 향상시킨다.
• 아키텍처는 각 시간 척도를 별도로 처리하여 시퀀스 길이를 단축시키고, 표준 트랜스포머의 장기적 맥락 제한 문제를 완화한다.
• 최종 예측은 모든 척도의 출력을 통합함으로써 다중 척도 상관관계 학습과 더 나은 일반화를 가능하게 한다.
• 모델은 손실 함수로 평균제곱오차(MSE)를 사용하여 엔드 투 엔드로 훈련되며, 스케일 수와 그래프 구조에 대한 하이퍼파ram터가 조정된다.

실험 결과

연구 질문

• RQ1 다변량 시계열 예측 모델은 어떻게 서로 다른 시간 척도에서 변화하는 상계 간 상관관계를 효과적으로 포착할 수 있는가?
• RQ2 주파수 도메인 분해는 다변량 시계열에서 다중 척도 시간 의존성을 모델링하는 데에 도움이 될 수 있는가?
• RQ3 스케일에 특화된 그래프 구조를 학습하는 것이 고정되거나 전역 그래프 구조보다 더 나은 예측 성능과 일반화 능력을 제공하는가?
• RQ4 스케일 인식 그래프 컨볼루션과 자기주의의 통합은 표준 트랜스포머에 비해 장기 시퀀스 예측 성능을 어떻게 향상시키는가?
• RQ5 MSGNet은 시간 척도에 따라 변화하는 상관관계 패턴을 보이는 시계열에 대해 얼마나 잘 분포 외 샘플로 일반화할 수 있는가?

주요 결과

• MSGNet은 ETT 및 플라잇과 같은 여러 벤치마크 데이터셋에서 최신 기술 성능을 달성하였으며, 다양한 입력 및 출력 길이 설정에서 MSE에 걸쳐 일관된 향상을 보였다.
• ETT 데이터셋에서 MSGNet은 더 긴 리뷰 윈도우를 사용할수록 성능 향상이 뚜렷하게 나타나, 장기적 의존성을 포착하는 데서 뛰어난 확장성과 효과성을 입증하였다.
• 분포 이탈에 대한 강건성을 보이며, 설명 가능한 스케일별 상관관계를 학습함으로써 분포 외 샘플에서도 높은 예측 정확도를 유지하였다.
• 계산 효율성 측면에서, 특히 더 긴 입력 시퀀스에서 MSGNet은 전체 시퀀스 어텐션을 피하는 스케일별 처리 방식 덕분에 트레이닝 속도와 GPU 메모리 사용량에서 TimesNet을 능가하였다.
• 장기 예측에서 오차 변동성과 반동 효과를 감소시켜, 특히 플라잇 데이터셋에서 입력 길이 증가에 따라 안정적이고 감소하는 오차 추세를 보였다.
• 그림 11과 12의 시각적 비교 결과, DLinear, Autoformer, TimesNet 등의 경쟁 모델에 비해 MSGNet이 더 나은 복잡한 추세와 주기적 패턴을 적합하는 것으로 확인되었다.