[論文レビュー] TimeMixer: Decomposable Multiscale Mixing for Time Series Forecasting

Shiyu Wang, Haixu Wu+6 more|arXiv (Cornell University)|May 23, 2024

Time Series Analysis and Forecasting被引用数 85

ひとこと要約

TimeMixer は Past-Decomposable-Mixing と Future-Multipredictor-Mixing を用いて多尺度の過去情報を活用し、効率的な MLP ベースの設計で長期・短期の時系列予測において最先端を達成します。

ABSTRACT

Time series forecasting is widely used in extensive applications, such as traffic planning and weather forecasting. However, real-world time series usually present intricate temporal variations, making forecasting extremely challenging. Going beyond the mainstream paradigms of plain decomposition and multiperiodicity analysis, we analyze temporal variations in a novel view of multiscale-mixing, which is based on an intuitive but important observation that time series present distinct patterns in different sampling scales. The microscopic and the macroscopic information are reflected in fine and coarse scales respectively, and thereby complex variations can be inherently disentangled. Based on this observation, we propose TimeMixer as a fully MLP-based architecture with Past-Decomposable-Mixing (PDM) and Future-Multipredictor-Mixing (FMM) blocks to take full advantage of disentangled multiscale series in both past extraction and future prediction phases. Concretely, PDM applies the decomposition to multiscale series and further mixes the decomposed seasonal and trend components in fine-to-coarse and coarse-to-fine directions separately, which successively aggregates the microscopic seasonal and macroscopic trend information. FMM further ensembles multiple predictors to utilize complementary forecasting capabilities in multiscale observations. Consequently, TimeMixer is able to achieve consistent state-of-the-art performances in both long-term and short-term forecasting tasks with favorable run-time efficiency.

研究の動機と目的

• 多尺度サンプリングが時系列における微小パターンと大局パターンをどのように明らかにするかを調査する。
• 分解された季節成分とトレンド成分を通じて過去の多尺度情報を活用する、完全にMLPベースのモデルを開発する。
• 多尺度予測子をアンサンブルして補完的な予測能力を捉え、将来の値を予測する。

提案手法

• 過去系列の平均ダウンサンプリングによって多尺度観測を構築する。
• Past-Decomposable-Mixing (PDM) を適用し、分解した季節成分とトレンド成分をスケール横断でボトムアップおよびトップダウン方向に個別に混合する。
• Future-Multipredictor-Mixing (FMM) を用いて各スケールの複数の予測子をアンサンブルし、最終的な未来予測を行う。
• 多尺度系列を埋め込み、L個のPDMブロックを介して徐々に混合して、各スケールで X^L を得る。
• FMM のスケール特定の予測子からの予測を合計して予測する: x_hat = sum_m Predictor_m(x_m^L).

Figure 1: Overall architecture of TimeMixer , which consists of Past-Decomposable Mixing and Future-Multipredictor-Mixing for past observations and future predictions respectively.

実験結果

リサーチクエスチョン

• RQ1 多尺度ダウンサンプリングは予測に有益な微小パターンと大域パターンを明らかにできるか。
• RQ2 系列を季節成分とトレンド成分に分解してスケール間で混合することで過去情報の抽出が改善されるか。
• RQ3 複数のスケールからの予測子をアンサンブルすることは、単一スケールの予測子より将来の予測を改善するか。

主な発見

• TimeMixer は Weather, Solar-Energy, Electricity, Traffic, ETTh1/ETTh2/ETTm1/ETTm2 など多様なデータセットにおいて長期ベンチマークで一貫して最先端の性能を達成する。
• モデルはベースラインより顕著な MSE 改善を達成し（例: Weather および Solar-Energy）、予測困難性の低いデータセットでも有効であり続ける。
• アブレーションにより Future-Multipredictor-Mixing、季節混合、トレンド混合それぞれが性能に寄与し、完全な Past-Decomposable-Mixing アーキテクチャが最も強い結果をもたらすことが示される。
• 視覚化は季節成分とトレンド成分の混合挙動が異なることを示し、ボトムアップの季節混合とトップダウンのトレンド混合という設計選択を支持する。
• TimeMixer はマルチ変量 PeMS データと周波数をまたぐ単変量 M4 データで短期予測性能が高いことを示す。

Figure 2: The temporal linear layer in seasonal mixing (a), trend mixing (b) and future prediction (c).