[논문 리뷰] TimeMixer: Decomposable Multiscale Mixing for Time Series Forecasting

Shiyu Wang, Haixu Wu외 6명|arXiv (Cornell University)|2024. 05. 23.

Time Series Analysis and Forecasting인용 수 85

한 줄 요약

TimeMixer는 Past-Decomposable-Mixing과 Future-Multipredictor-Mixing으로 다층 과거 정보를 활용하여 효율적인 MLP 기반 설계로 장기 및 단기 시계열 예측에서 최첨단 성능을 달성합니다.

ABSTRACT

Time series forecasting is widely used in extensive applications, such as traffic planning and weather forecasting. However, real-world time series usually present intricate temporal variations, making forecasting extremely challenging. Going beyond the mainstream paradigms of plain decomposition and multiperiodicity analysis, we analyze temporal variations in a novel view of multiscale-mixing, which is based on an intuitive but important observation that time series present distinct patterns in different sampling scales. The microscopic and the macroscopic information are reflected in fine and coarse scales respectively, and thereby complex variations can be inherently disentangled. Based on this observation, we propose TimeMixer as a fully MLP-based architecture with Past-Decomposable-Mixing (PDM) and Future-Multipredictor-Mixing (FMM) blocks to take full advantage of disentangled multiscale series in both past extraction and future prediction phases. Concretely, PDM applies the decomposition to multiscale series and further mixes the decomposed seasonal and trend components in fine-to-coarse and coarse-to-fine directions separately, which successively aggregates the microscopic seasonal and macroscopic trend information. FMM further ensembles multiple predictors to utilize complementary forecasting capabilities in multiscale observations. Consequently, TimeMixer is able to achieve consistent state-of-the-art performances in both long-term and short-term forecasting tasks with favorable run-time efficiency.

연구 동기 및 목표

• 다중 스케일 샘플링이 시계열에서 미세 패턴과 거시 패턴을 구분해 드러내는지 조사한다.
• 분해된 계절성 및 추세 구성요소를 통해 과거 다중 스케일 정보를 활용하는 완전한 MLP 기반 모델을 개발한다.
• 다중 스케일 예측기를 앙상블하여 보완적인 예측 능력을 포착하여 미래 값을 예측한다.

제안 방법

• 과거 시계열의 평균 하향 샘플링을 통해 다중 스케일 관측치를 구성한다.
• Past-Decomposable-Mixing (PDM)을 적용하여 바텀업 및 톱다운 방향으로 각 스케일에서 분해된 계절성 및 추세 구성요소를 각각 혼합한다.
• Future-Multipredictor-Mixing (FMM)을 사용하여 각 스케일의 여러 예측기를 앙상블하여 최종 미래 예측을 수행한다.
• 다중 스케일 시퀀스를 임베드하고 L PDM 블록을 통해 점진적으로 혼합하여 X^L across scales를 얻는다.
• FMM에서 스케일별 예측기의 예측을 합쳐 예측한다: x_hat = sum_m Predictor_m(x_m^L).

Figure 1: Overall architecture of TimeMixer , which consists of Past-Decomposable Mixing and Future-Multipredictor-Mixing for past observations and future predictions respectively.

실험 결과

연구 질문

• RQ1 다중 스케일 하향 샘플링이 예측에 유익한 미세 및 거시 패턴을 드러낼 수 있는가?
• RQ2 시계열을 계절성 및 추세 구성요소로 분해하고 이를 스케일 across 혼합하는 것이 과거 정보 추출을 개선하는가?
• RQ3 여러 스케일의 예측기를 앙상블하는 것이 단일 스케일 예측기보다 미래 예측에 더 나은가?

주요 결과

• TimeMixer는 Weather, Solar-Energy, Electricity, Traffic, ETTh1/ETTh2/ETTm1/ETTm2 등 다양한 데이터셋에서 장기 벤치마크에 대해 일관된 최첨단 성능을 달성한다.
• 모델은 기저 대비 MSE 개선이 두드러지며(예: Weather 및 Solar-Energy) 예측 가능성이 낮은 데이터셋에서도 효과를 유지한다.
• Ablations에서 Future-Multipredictor-Mixing, 계절성 혼합, 추세 혼합이 각각 성능에 기여하며, 전체 Past-Decomposable-Mixing 아키텍처가 가장 강력한 결과를 제공한다.
• 시각화는 계절성 구성요소와 추세 구성요소의 혼합 동작이 구분되어 나타나며, 하향식 계절 혼합 및 상향식 추세 혼합 설계를 뒷받침한다는 것을 시사한다.
• TimeMixer는 다변량 PeMS 데이터 및 단변량 M4 데이터에서 단기 예측 성능이 강하함을 보여준다.

Figure 2: The temporal linear layer in seasonal mixing (a), trend mixing (b) and future prediction (c).