[論文レビュー] Are Self-Attentions Effective for Time Series Forecasting?

Dongbin Kim, J.-G. Park+2 more|arXiv (Cornell University)|May 27, 2024

Forecasting Techniques and ApplicationsDecision Sciences被引用数 3

ひとこと要約

本論文は、将来の予測範囲を学習可能なクエリとして扱い、過去の系列をキー/バリューとして扱うことで、自己自己注意（self-attention）を交差自己注意（cross-attention）に置き換える新しい時系列予測モデルCATSを提案する。自己自己注意を排除し、予測範囲に特化したパラメータ共有を実装することで、複数のデータセットにおいて、従来のTransformerベースのモデルと比較して、より低いMSEと著しく少ないパラメータ数を達成し、最先端の性能を実現した。

ABSTRACT

Time series forecasting is crucial for applications across multiple domains and various scenarios. Although Transformer models have dramatically advanced the landscape of forecasting, their effectiveness remains debated. Recent findings have indicated that simpler linear models might outperform complex Transformer-based approaches, highlighting the potential for more streamlined architectures. In this paper, we shift the focus from evaluating the overall Transformer architecture to specifically examining the effectiveness of self-attention for time series forecasting. To this end, we introduce a new architecture, Cross-Attention-only Time Series transformer (CATS), that rethinks the traditional Transformer framework by eliminating self-attention and leveraging cross-attention mechanisms instead. By establishing future horizon-dependent parameters as queries and enhanced parameter sharing, our model not only improves long-term forecasting accuracy but also reduces the number of parameters and memory usage. Extensive experiment across various datasets demonstrates that our model achieves superior performance with the lowest mean squared error and uses fewer parameters compared to existing models. The implementation of our model is available at: https://github.com/dongbeank/CATS.

研究の動機と目的

• 自己自己注意機構が、効果的な時系列予測に本当に必要であるかどうかを調査すること。
• 順列不変性と二次的計算量の問題により、自己自己注意に起因する非効率性と情報損失を是正すること。
• 高精度な予測性能を維持しながら、モデルサイズとメモリ使用量を削減する、洗練されたTransformerアーキテクチャの設計。
• 交差自己注意を用いて、予測範囲に依存するパラメータ共有を可能にすることで、長期予測の性能を向上させること。
• 個々の予測範囲ごとに注意マップを提供することで、解釈可能性を向上させること。

提案手法

• CATSは、Transformer内のすべての自己自己注意層を交差自己注意に置き換え、将来の予測範囲をクエリとして使用する。
• 各予測範囲が独立したクエリベクトルとして扱われ、予測範囲に特化した注意計算が可能になる。
• 重複のないパッチを用いた入力表現と、チャネルに依存しない処理を採用する。
• 異なる予測範囲間でクエリ埋め込みを共有することで、パラメータ共有を強化し、モデルの複雑さを低減する。
• クエリ（将来の予測範囲）とキー/バリュー（過去の時系列パッチ）の間で、マルチヘッド交差自己注意が適用される。
• 標準的な回帰損失を用いてエンドツーエンドで学習され、注意マップの可視化により周期的パターンの学習状況を解釈する。

Figure 1: Experimental results illustrating the mean squared error (MSE) and the number of parameters with varying input sequence lengths on ETTm1. Each bubble represents a different model, with the bubble size indicating the number of parameters in millions—larger bubbles denote models with more pa

実験結果

リサーチクエスチョン

• RQ1 自己自己注意は、正確な時系列予測に本当に不可欠なのか、それともより単純なメカニズムに置き換え可能か？
• RQ2 自己自己注意ベースのTransformerと比較して、交差自己注意のみで優れた長期予測性能を達成できるか？
• RQ3 自己自己注意を排除することで、予測精度を損なわず、モデルの複雑さを低減できるか？
• RQ4 予測範囲に特化したクエリを導入することで、長期予測タスクにおける解釈可能性と性能が向上するか？
• RQ5 交差自己注意は、時系列データに内在する周期的パターンをどれほど効果的に捉えることができるか？

主な発見

• CATSは、E TTm1 や Electricity を含む、評価されたすべてのデータセットで最小の平均二乗誤差（MSE）を達成し、従来のTransformerベースのモデルを上回った。
• 720ステップの予測範囲を持つ ETTm1 データセットでは、CATSのMSEは0.400に達し、自己自己注意を内蔵するモデル（例：2層の自己自己注意を備えたモデルでは0.442）と比較して顕著に低い値を記録した。
• CATSは、比較対象のすべてのモデルよりも少ないパラメータ数を用いており、図1における最小のバブルサイズを示し、優れたパラメータ効率性を示した。
• 合成データにおいて、周期的パターンが正しく捉えられており、24ステップの周期性とショック検出を強調する注意スコアマップが得られた。
• 可視化結果から、高注意度のパッチが類似した時間的パターンを示しており、モデルが逐次的および周期的な構造を検出できる能力を有していることが確認された。
• CATSは、個々の予測範囲ごとに解釈可能な注意マップを提供しており、各予測が過去のデータからどのように導かれるかを明確に分析可能である。

Figure 3: Illustration on the proposed model architecture. Our model removes all self-attentions from the original Transformer structure and focuses on cross-attentions. To fully utilize the cross-attention, we conceptualize the future horizon as queries and use the input time series (i.e., past tim