[論文レビュー] Pathformer: Multi-scale Transformers with Adaptive Pathways for Time Series Forecasting

Peng Chen, Yingying Zhang+6 more|arXiv (Cornell University)|Feb 4, 2024

Time Series Analysis and Forecasting被引用数 35

ひとこと要約

Pathformer は、時間解像度と時間距離を共同でモデル化する適応的経路を備えたマルチスケール Transformer を提案し、データ駆動のスケール選択と、強い転移性を持つ実世界の時系列データ全体で予測精度を向上させる。

ABSTRACT

Transformers for time series forecasting mainly model time series from limited or fixed scales, making it challenging to capture different characteristics spanning various scales. We propose Pathformer, a multi-scale Transformer with adaptive pathways. It integrates both temporal resolution and temporal distance for multi-scale modeling. Multi-scale division divides the time series into different temporal resolutions using patches of various sizes. Based on the division of each scale, dual attention is performed over these patches to capture global correlations and local details as temporal dependencies. We further enrich the multi-scale Transformer with adaptive pathways, which adaptively adjust the multi-scale modeling process based on the varying temporal dynamics of the input, improving the accuracy and generalization of Pathformer. Extensive experiments on eleven real-world datasets demonstrate that Pathformer not only achieves state-of-the-art performance by surpassing all current models but also exhibits stronger generalization abilities under various transfer scenarios. The code is made available at https://github.com/decisionintelligence/pathformer.

研究の動機と目的

• ドメインを横断した時系列予測の必要性と、固定スケールの Transformer モデルの限界を動機づける。
• 時間解像度と時間距離を組み合わせたマルチスケール Transformer を導入し、よりリッチなスケールモデリングを実現する。
• 入力のダイナミクスに基づいてマルチスケールの特徴を動的に選択・統合する適応的経路を開発する。
• 多様な実世界データセットで最先端の予測性能と転移学習能力を実証する。

提案手法

• 時系列のマルチスケール視点を作成するためのパッチサイズのコレクションを定義する。
• 各スケールで局所的なディテールとグローバルな相関を捉えるため、パッチ内外でデュアルアテンションを適用する。
• 傾向と季節性の分解を用いてスケール選択の経路重みを生成するマルチスケール・ルータを組み込む。
• 選択したスケールの出力を重み付き結合によって融合するアグリゲータを使用する。
• 標準の最適化と正則化を含むエンドツーエンドの学習で、インスタンス正規化と予測モジュールを用いた予測を行う。

実験結果

リサーチクエスチョン

• RQ1 適応的なマルチスケールモデリングは、時間解像度と時間距離を同時に扱うことで予測を改善できるか。
• RQ2 適応的な経路は、異なる時系列特性を持つデータセット間での一般化と転移学習を改善できるか。
• RQ3 Pathformer は固定スケールまたは非適応的マルチスケールのベースラインと比べて、精度と効率の点でどうなるか。
• RQ4 ルーティング機構における傾向と季節性の分解を含めることの影響はどの程度か。

主な発見

• Pathformer は eleven real-world datasets において最先端の予測性能を達成し、競合するベースラインを上回った。
• 適応的な経路は情報量の多いスケールを選択的に強調でき、モデルを新しいデータセットやクラスターへ適用する際の一般化と転移を改善した。
• 固定スケールモデルと比較して、Pathformer は MSE と MAE の顕著な改善を提供し、複数の設定で強力なマルチスケール・ベースラインを凌駕した。
• 転移学習のためのパート・チューニングは、完全なファインチューニングに代わる軽量で効果的な代替手段を提供し、計算量を削減しつつ競争力のある精度を維持した。
• 転移実験では、あるデータセット/クラスターで事前学習し別のデータセットでファインチューニングした場合に Pathformer が良好に一般化し、ほとんどの場合 PatchTST、FEDformer、Autoformer を上回った。