[論文レビュー] Scaleformer: Iterative Multi-scale Refining Transformers for Time Series Forecasting

Amin Shabani, Amir H. Abdi+2 more|arXiv (Cornell University)|Jun 8, 2022

Time Series Analysis and Forecasting被引用数 36

ひとこと要約

Scaleformerは、既存のトランスフォーマーベースの時系列モデルに組み込める、クロススケール正規化を備えた反復的なマルチスケールリファインメントフレームワークを導入し、最小限のオーバーヘッドでMSE/MAEを大幅に改善します。

ABSTRACT

The performance of time series forecasting has recently been greatly improved by the introduction of transformers. In this paper, we propose a general multi-scale framework that can be applied to the state-of-the-art transformer-based time series forecasting models (FEDformer, Autoformer, etc.). By iteratively refining a forecasted time series at multiple scales with shared weights, introducing architecture adaptations, and a specially-designed normalization scheme, we are able to achieve significant performance improvements, from 5.5% to 38.5% across datasets and transformer architectures, with minimal additional computational overhead. Via detailed ablation studies, we demonstrate the effectiveness of each of our contributions across the architecture and methodology. Furthermore, our experiments on various public datasets demonstrate that the proposed improvements outperform their corresponding baseline counterparts. Our code is publicly available in https://github.com/BorealisAI/scaleformer.

研究の動機と目的

• 時系列予測におけるスケール認識処理を動機づけ、スケール間の依存関係を捉える。
• 一般的でアーキテクチャに依存しないマルチスケールリファインメントフレームワークを提案し、トランスフォーマー背骨（例：FEDformer、Autoformer）に適用できる。
• 反復的リファインメント中のスケール間およびウィンドウ間の分布シフトを緩和するために、クロススケール正規化を導入。
• アブレーションと比較を通じて、複数のデータセットとバックボーンで実証的な利得を示す。

提案手法

• ダウンサンプリング（s および s のべき乗）を用いた一連の時間的スケールを定義し、最小スケールから元のスケールへと反復的にリファインメントを行う。
• 各スケールで同じ Transformer モジュールを適用し、エンコーダ入力はダウンサンプルされた過去幅から、デコーダ入力はアップサンプルされた前の出力を通じて提供。
• 移動平均統計を用いてエンコーダ/デコーダ入力を中心化するクロススケール正規化を導入し、スケール間の分布シフトを低減。
• 入力を値・時系列・スケール認識の固定位置エンベディングで埋め込む。
• 適応損失（Barron, 2019）f(x, alpha, c) を端から端まで学習可能として用い、外れ値が存在する場合には標準の MSE を置換して訓練します。

実験結果

リサーチクエスチョン

• RQ1 共有重みを用いた反復的マルチスケールリファインメントは、異なるトランスフォーマー背骨間で予測精度を改善できるか？
• RQ2 クロススケール正規化は訓練を効果的に安定化させ、スケール間での誤差伝播を防ぐか？
• RQ3 FEDFormer、Autoformer、Informer、Reformer、Performer などのベースラインに対して、さまざまなデータセットでマルチスケールリファインメントがどれだけの性能向上をもたらすか？

主な発見

• Scaleformerをバックボーンモデル全体に適用した場合、平均二乗誤差の低減は5.5%から38.5%の範囲。
• MSEの基準値に対する平均改善は、FEDFormerで5.6%、Autoformerで13.5%、Informerで38.5%、それに対応するMAEの改善を伴う。
• クロススケール正規化は不可欠であり、これがないと多くのケースでマルチスケール変種の性能が劣る一方、単一スケールでの正規化も一部のモデルで効果がある。
• アブレーション研究は、マルチスケールリファインメントと適応損失を組み合わせると、データセット全体で最良の性能を示すことを示している。
• このフレームワークは基準モデルと同等のパラメータ数を維持し、控えめな計算オーバーヘッドで、複数のデータセット（Electricity, Weather, Exchange-rate, Traffic, ILI）にまたがってスケールする。