[논문 리뷰] Revitalizing Multivariate Time Series Forecasting: Learnable Decomposition with Inter-Series Dependencies and Intra-Series Variations Modeling

Guoqi Yu, Jing Zou외 4명|arXiv (Cornell University)|2024. 02. 20.

Time Series Analysis and Forecasting인용 수 7

한 줄 요약

본 논문은 학습 가능한 분해와 이중 주의 모듈을 결합한 Leddam을 제시하여 다변량 시계열의 시계열 간 의존성과 시계열 내 변화를 함께 모델링하고, 여덟 개 데이터셋에서 최첨단 결과를 달성하며 다른 모델에 적용되었을 때 큰 성능 향상을 가능하게 합니다.

ABSTRACT

Predicting multivariate time series is crucial, demanding precise modeling of intricate patterns, including inter-series dependencies and intra-series variations. Distinctive trend characteristics in each time series pose challenges, and existing methods, relying on basic moving average kernels, may struggle with the non-linear structure and complex trends in real-world data. Given that, we introduce a learnable decomposition strategy to capture dynamic trend information more reasonably. Additionally, we propose a dual attention module tailored to capture inter-series dependencies and intra-series variations simultaneously for better time series forecasting, which is implemented by channel-wise self-attention and autoregressive self-attention. To evaluate the effectiveness of our method, we conducted experiments across eight open-source datasets and compared it with the state-of-the-art methods. Through the comparison results, our Leddam (LEarnable Decomposition and Dual Attention Module) not only demonstrates significant advancements in predictive performance, but also the proposed decomposition strategy can be plugged into other methods with a large performance-boosting, from 11.87% to 48.56% MSE error degradation.

연구 동기 및 목표

• 다변량 시계열 예측의 견고함을 확보하기 위해 시계열 간 의존성과 시계열 내 변화를 다루는 것을 목표로 한다.
• 단순 이동 평균을 넘어 동적 추세 정보를 포착하는 학습 가능한 분해를 제안한다.
• 채널별 자기주의와 자기회귀 자기주의를 결합한 이중 주의 모듈을 설계한다.
• 여덟 개 실제 데이터셋에서 명확한 성능 향상을 입증하고 분해 구성요소의 일반성을 보여준다.
• 제안된 분해가 다른 예측 모델을 상당히 향상시킬 수 있음을 보인다.

제안 방법

• 가우시안 분포로 초기화된 학습 가능한 1D 컨볼루션 분해 커널을 도입하여 Trend와 Seasonal 파트를 구분한다.
• 이중 주의 모듈을 사용하여 (i) Whole Series Embedding을 통해 시계열 간 의존성을 모델링하는 채널별 자기 주의, (ii) Auto-regressive Embedding을 통해 시계열 내 변이를 모델링하는 자기회귀 자기 주의를 포함한다.
• 입력에 위치 인코딩을 임베드하고 X_Trend와 X_Seasonal로 분해한 뒤 이를 투영하여 최종 예측을 얻는다. Y_hat = X_S_out + X_T_out.
• Seasonal 토큰에 대한 Transformer 인코더로 시계열 간 의존성을 모델링하고, Seasonal 토큰을 K/V로, 원시 Seasonal을 Q로 사용하는 토크 기반 자기회귀 Transformer로 시계열 내 변화를 모델링한다.
• 학습 가능한 1D 컨볼루션 커널이 분해에서 전통적 이동 평균 커널보다 우수함을 보인다(LD_TL 대 LD_UTL).
• 여덟 개 데이터셋에서 MSE/MAE 지표로 평가하고 여덟 개 SOTA 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 다변량 시계열의 분해를 어떻게 학습하여 동적 추세 정보를 더 잘 드러낼 수 있는가?
• RQ2 시계열 간 의존성과 시계열 내 변이를 동시에 모델링하여 예측 정확도를 어떻게 높일 수 있는가?
• RQ3 다른 예측 모델에 연결되었을 때 학습 가능한 분해 구성요소가 일반화되는가?
• RQ4 시계열 간 모델링에 대한 채널별 주의와 시계열 내 모델링에 대한 자기회귀 주의의 비교 영향은 무엇인가?
• RQ5 제안된 구성요소들이 다양한 실제 데이터셋에서 성능을 얼마나 향상시키는가?

주요 결과

• Leddam은 대부분의 데이터셋에서 여덟 개의 최첨단 baselines보다 우수한 예측 성능을 달성하며, Traffic 데이터셋에서 iTransformer가 우세한 예외가 된다.
• 이중 주의 설계(시계열 간 의존성에 대한 채널별 주의, 시계열 내 변이에 대한 자기회귀 주의)는 다섯 데이터셋에서 개별 제거 시에도 유의미한 MSE 감소를 보이고, 결합 시에는 더 큰 감소를 보인다.
• 가우시안 초기화가 적용된 학습 가능한 1D 컨볼루션 분해 커널은 일관되게 이동 평균 커널을 능가하며, 학습 가능성은 성능을 더욱 향상시킨다(LD_TL 대 LD_UTL).
• 학습 가능한 분해를 다른 모델에 연결하면 LightTS, LSTM, SCINet, Informer, Transformer 등에서 개선이 나타나며, 일부 모델에서 특히 큰 이득이 있다(예: 특정 ET 데이터셋에서 LSTM의 MSE 개선이 최대 약 80%에 달함).
• 자기회귀 자기 주의와 채널별 자기 주의는 각각 독자적으로 유의미한 개선을 제공하며, 함께 사용할 때 더 큰 이득이 나타나고 평균적으로 상당한 MSE 감소를 보인다.