[論文レビュー] First De-Trend then Attend: Rethinking Attention for Time-Series Forecasting

Xiyuan Zhang, Xiao-Yong Jin+7 more|arXiv (Cornell University)|Dec 15, 2022

Time Series Analysis and Forecasting被引用数 22

ひとこと要約

TDformer は時系列をトレンドと季節性に分解し、トレンドにはMLPを、季節性にはフーリエ領域のアテンションを用いて、最先端の予測性能を達成します。

ABSTRACT

Transformer-based models have gained large popularity and demonstrated promising results in long-term time-series forecasting in recent years. In addition to learning attention in time domain, recent works also explore learning attention in frequency domains (e.g., Fourier domain, wavelet domain), given that seasonal patterns can be better captured in these domains. In this work, we seek to understand the relationships between attention models in different time and frequency domains. Theoretically, we show that attention models in different domains are equivalent under linear conditions (i.e., linear kernel to attention scores). Empirically, we analyze how attention models of different domains show different behaviors through various synthetic experiments with seasonality, trend and noise, with emphasis on the role of softmax operation therein. Both these theoretical and empirical analyses motivate us to propose a new method: TDformer (Trend Decomposition Transformer), that first applies seasonal-trend decomposition, and then additively combines an MLP which predicts the trend component with Fourier attention which predicts the seasonal component to obtain the final prediction. Extensive experiments on benchmark time-series forecasting datasets demonstrate that TDformer achieves state-of-the-art performance against existing attention-based models.

研究の動機と目的

• 時間領域・フーリエ領域・ウェーブレット領域で学習されるアテンションが、線形条件下で同等の表現力を持つかを理解する。
• 季節性・トレンド・ノイズ全体で softmax 正規化がアテンションに与える影響を実証的に分析する。
• ドメイン固有の強みを活用する予測のためのハイブリッドモデルを動機づけ、設計する。
• データをトレンドと季節性に分解することが、アテンションベースの予測性能を改善することを示す。

提案手法

• 線形アテンションの下で、時間・フーリエ・ウェーブレットアテンションの線形同値性を理論的に証明する。
• 季節性・トレンド・スパイクを有する合成データでアテンションの挙動を実証的に分析し、softmax 効果を分離する。
• 入力をトレンドと季節部分に分解し、トレンドをMLPで予測し、季節部分をフーリエアテンションで予測して、それらを合算するTDFormerを提案する。
• トレンド予測子の前に、複数の平均フィルタと適応ウェイトを用いた季節性-トレンド分解とRevIN正規化を適用する。
• 季節成分を予測するため、季節エンコーダ/デコーダブロックでフーリエアテンションを用いる。
• 将来の時系列に対する再構成MSE損失で最適化する。

実験結果

リサーチクエスチョン

• RQ1 時間領域・フーリエ領域・ウェーブレット領域のアテンション機構は、線形条件下で同等の表現力を持つか？
• RQ2 ソフトマックス正規化は、異なる領域でのアテンションの経験的挙動にどのように影響するか？
• RQ3 時系列をトレンドと季節性に分解することで、アテンションベースの予測の有効性が向上するか？
• RQ4 トレンド指向のMLPと季節性のためのフーリエアテンションを組み合わせると、予測性能が向上するか？

主な発見

• 線形条件下では、時間・フーリエ・ウェーブレットアテンションは理論的に同等である。
• ソフトマックス正規化は、季節性・ トレンド・ノイズの各ドメインでの経験的性能に差を生む。
• フーリエ領域アテンションは、強い季節性に対してサンプル効率が高いが、トレンドデータはアテンション単独には一般化しにくい。
• トレンド向けのMLPと季節性向けのフーリエアテンションを組み合わせて使用するTDformerは、ベンチマークデータセットで最先端の結果を達成する。
• RevIN 正規化と明示的な季節性-トレンド分解は、TDformer の性能とロバスト性に寄与します。