[논문 리뷰] TSMixer: An All-MLP Architecture for Time Series Forecasting

Sian Chen, Chunliang Li외 3명|arXiv (Cornell University)|2023. 03. 10.

Time Series Analysis and Forecasting인용 수 119

한 줄 요약

TSMixer는 시간-혼합 및 특징-혼합 블록을 교대하는 전부-MLP 아키텍처를 제안하여 다변량 시계열을 예측하며 표준 벤치마크에서 경쟁력 있는 결과를 달성하고 대규모 M5 데이터에서 교차 변수 정보 및 보조 정보를 활용하여 최첨단 성능을 달성합니다.

ABSTRACT

Real-world time-series datasets are often multivariate with complex dynamics. To capture this complexity, high capacity architectures like recurrent- or attention-based sequential deep learning models have become popular. However, recent work demonstrates that simple univariate linear models can outperform such deep learning models on several commonly used academic benchmarks. Extending them, in this paper, we investigate the capabilities of linear models for time-series forecasting and present Time-Series Mixer (TSMixer), a novel architecture designed by stacking multi-layer perceptrons (MLPs). TSMixer is based on mixing operations along both the time and feature dimensions to extract information efficiently. On popular academic benchmarks, the simple-to-implement TSMixer is comparable to specialized state-of-the-art models that leverage the inductive biases of specific benchmarks. On the challenging and large scale M5 benchmark, a real-world retail dataset, TSMixer demonstrates superior performance compared to the state-of-the-art alternatives. Our results underline the importance of efficiently utilizing cross-variate and auxiliary information for improving the performance of time series forecasting. We present various analyses to shed light into the capabilities of TSMixer. The design paradigms utilized in TSMixer are expected to open new horizons for deep learning-based time series forecasting. The implementation is available at https://github.com/google-research/google-research/tree/master/tsmixer

연구 동기 및 목표

• 일반 벤치마크에서 cross-variate 정보가 시계열 예측에 도움이 되는지 평가한다.
• 시간적 패턴과 교차 변수 상호작용을 포착하는 경량형이면서 확장 가능한 전부-MLP 아키텍처를 개발한다.
• 보조 정보(정적 특징 및 미래 시간 특징)를 통합하기 위한 확장을 탐구한다.
• 장기 예측 데이터셋에서 최첨단 다변량 및 단변량 모델과 비교한다.

제안 방법

• 교차하는 시간-혼합 및 특징-혼합 MLP로 구성된 Time-Series Mixer (TSMixer)를 도입한다.
• 시간-혼합 MLP는 특징들 간에 공유되어 시간적 패턴을 모델링하고, 특징-혼합 MLP는 시간 스텝 간에 공유되어 공변량 정보를 활용한다.
• 입력 길이 L를 예보 길이 T로 매핑하고 시간 학습을 가능하게 하기 위한 시간 투영을 사용한다.
• 안정적인 학습을 위해 시간 및 특징 차원에 걸친 잔여 연결과 2D 정규화를 통합한다.
• 교차 변수 혼합의 영향을 분리하기 위해 시간-혼합만을 가진 변형 TMix-Only를 제공한다.
• 입력을 공통 모양으로 정렬하고 연결된 특징에 대한 혼합을 적용하여 보조 정보(정적 특징 및 미래 시간 가변 특징)를 TSMixer에 확장한다.

Figure 1: TSMixer for multivariate time series forecasting. The columns of the inputs means different features/variates and the rows are time steps. The fully-connected operations are row-wise. TSMixer contains interleaving time-mixing and feature-mixing MLPs to aggregate information. The number of

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 교차 변수 정보가 시계열 예측에 신뢰할 수 있는 이점을 제공하는가?
• RQ2 전부-MLP 믹서 아키텍처가 단변량 모델에 맞먹고 장기 예측에서 다변량 Transformer 기반 모델보다 우수할 수 있는가?
• RQ3 더 긴 회귀 윈도우(lookback)와 대규모 데이터셋에서 TSMixer의 확장성은 어떻게 되는가?
• RQ4 TSMixer가 정적 특징 및 미래 시간 특징과 같은 보조 정보를 효과적으로 활용할 수 있는가?

주요 결과

• TSMixer는 최첨단 단변량 모델과 경쟁적이며 일반적인 장기 예측 벤치마크에서 다른 다변량 모델보다 현저히 우수한 성능을 보인다.
• 대규모 M5 소매 데이터에서 교차 변수 정보가 상당한 개선을 제공하고 TSMixer가 보조 정보를 효과적으로 활용한다.
• TMix-Only(시간-혼합만)도 PatchTST에 비해 비슷한 수준으로 성능을 보여 교차 변수 혼합이 이러한 벤치마크에서 항상 필요한 것은 아님을 시사한다.
• TSMixer는 다변량 Transformer 기반 모델보다 더 긴 lookback 창을 잘 활용하여 일반화 향상과 장기 시퀀스에서의 과적합 감소를 보여준다.
• 보조 정보(정적 및 미래 특징)로 확장하면 강력한 성능을 얻으며 M5 설정에서 DeepAR, TFT와 같은 산업 벤치마크를 자주 능가한다.

Figure 3: The architecture of TMix-Only. It is similar to TSMixer but only applies time-mixing.