[논문 리뷰] MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal and Channel Mixing

Zhe Li, Zhongwen Rao외 2명|arXiv (Cornell University)|2023. 02. 09.

Time Series Analysis and Forecasting인용 수 38

한 줄 요약

MTS-Mixers는 다변량 시계열 예측에서 시간적 의존성과 채널 의존성을 분리해 모델링하는 분해 프레임워크를 제안하며, 저랭크 기반의 시간적 및 채널 믹싱으로 Transformer 기반 모델보다 더 높은 효율로 성능을 초과합니다.

ABSTRACT

Multivariate time series forecasting has been widely used in various practical scenarios. Recently, Transformer-based models have shown significant potential in forecasting tasks due to the capture of long-range dependencies. However, recent studies in the vision and NLP fields show that the role of attention modules is not clear, which can be replaced by other token aggregation operations. This paper investigates the contributions and deficiencies of attention mechanisms on the performance of time series forecasting. Specifically, we find that (1) attention is not necessary for capturing temporal dependencies, (2) the entanglement and redundancy in the capture of temporal and channel interaction affect the forecasting performance, and (3) it is important to model the mapping between the input and the prediction sequence. To this end, we propose MTS-Mixers, which use two factorized modules to capture temporal and channel dependencies. Experimental results on several real-world datasets show that MTS-Mixers outperform existing Transformer-based models with higher efficiency.

연구 동기 및 목표

• 시계열 예측에서 주의력(어텐션) 메커니즘의 효과를 평가한다.
• 시간적 및 채널 의존성을 분리하여 포착하는 일반 프레임워크(MTS-Mixers)를 제안한다.
• 분해된 시간적 및 채널 믹싱을 통해 시계열의 저랭크 특성을 활용한다.
• 여러 실제 데이터셋에서 최첨단 예측 정확도와 효율성을 입증한다.

제안 방법

• Temporal 및 Channel 모듈을 통해 입력 Xh in R^{n×c}를 Xf in R^{m×c}로 매핑하는 MTS-Mixers를 도입한다.
• 세 가지 구현을 보여준다: (i) 어텐션 기반 MTS-Mixer, (ii) 임의 행렬 MTS-Mixer, (iii) 저랭크 분해를 갖는 인수분해 MLP/채널 접근법.
• 중복성을 줄이고 효율성을 높이기 위해 분해된 시간적 및 채널 믹싱을 사용한다.
• 시간적 인수분해는 s개의 교차된 하위시퀀스로 다운샘플링하고, 합치기 전에 각 하위시퀀스마다 시간적 특징을 학습한다.
• 채널 인수분해는 저랭크 분해(예: 잘린 SVD, NMF)로 채널 간 상호작용을 노이즈 제거하고 분해된 MLP 유사 변환으로 처리한다.
• 선택적 임베딩/위치 인코딩 경로와 학습된 특징에서 예측으로의 직접 선형 매핑을 제공한다.
• 시간적 의존성 포착에 어텐션이 불필요할 수 있으며 입력 시퀀스와 출력 시퀀스 간의 매핑이 결정적임을 보여준다.

실험 결과

연구 질문

• RQ1 다변량 시계열 예측에서 시간적 의존성을 포착하는 데 어텐션이 필요한가?
• RQ2 분해된 모듈로 시간적 및 채널 모델링을 분리하면 예측 성능과 효율성이 향상될 수 있는가?
• RQ3 저랭크 인수분해 접근법이 다변량 시계열 데이터의 중복성을 효과적으로 줄이는가?
• RQ4 다양한 MTS-Mixer 변형(MLP, 임의 행렬, 어텐션)이 공개 데이터셋에서 최신 baselines와 어떻게 비교되는가?

주요 결과

• MTS-Mixers는 여섯 개의 실제 데이터셋에서 최첨단 성능을 달성했으며, MSE와 MAE에서 현저한 개선이 있다.
• 분해된 시간적 및 채널 믹싱은 Transformer 기반 모델보다 더 높은 정확도와 효율성을 보여준다.
• 인수분해 MLP 및 인수분해 어텐션 변형은 일반 어텐션 및 다수의 베이스라인을 능가하며, 큰 예측 구간에서 상당한 이점을 보인다.
• 시간적 인수분해는 더 많은 하위시퀀스(더 큰 s)에서 이익을 보지만, 효율성을 균형 있게 하기 위해 매개변수 공유가 필요할 수 있다.
• 채널 인수분해는 저랭크 노이즈 제거를 통한 오차 감소가 크게 나타난다(예: 잘린 SVD, NMF).
• 런타임 분석에서 MTS-Mixers가 여러 Transformer 기반 경쟁자들보다 더 나은 학습/추론 효율성을 제공함을 보여준다.