[論文レビュー] ETSformer: Exponential Smoothing Transformers for Time-series Forecasting

Gerald Woo, Chenghao Liu+3 more|arXiv (Cornell University)|Feb 3, 2022

Time Series Analysis and Forecasting被引用数 108

ひとこと要約

ETSformerは、時系列予測のためのTransformerへExponential Smoothing AttentionとFrequency Attentionを導入し、解釈可能なレベル/成長/季節性の分解を可能にし、複数の実世界データセットで最先端の結果を達成します。

ABSTRACT

Transformers have been actively studied for time-series forecasting in recent years. While often showing promising results in various scenarios, traditional Transformers are not designed to fully exploit the characteristics of time-series data and thus suffer some fundamental limitations, e.g., they generally lack of decomposition capability and interpretability, and are neither effective nor efficient for long-term forecasting. In this paper, we propose ETSFormer, a novel time-series Transformer architecture, which exploits the principle of exponential smoothing in improving Transformers for time-series forecasting. In particular, inspired by the classical exponential smoothing methods in time-series forecasting, we propose the novel exponential smoothing attention (ESA) and frequency attention (FA) to replace the self-attention mechanism in vanilla Transformers, thus improving both accuracy and efficiency. Based on these, we redesign the Transformer architecture with modular decomposition blocks such that it can learn to decompose the time-series data into interpretable time-series components such as level, growth and seasonality. Extensive experiments on various time-series benchmarks validate the efficacy and advantages of the proposed method. Code is available at https://github.com/salesforce/ETSformer.

研究の動機と目的

• 時系列構造の帰納的バイアス（レベル、成長、季節性）を予測のためのTransformerに組み込む。
• Vanilla Self-attentionをExponential Smoothing Attention (ESA)とFrequency Attention (FA)に置換し、最近性と季節性を捉える。
• 学習可能な潜在成分を出力するインタープリタブルなエンコーダ-デコーダアーキテクチャを開発し、予測をレベル、成長、季節項の和として出力する。
• O(L log L)の計算量でスケーラビリティと効率性を示し、多様な実世界データセットで検証する。

提案手法

• Exponential Smoothing Attention (ESA)のウェイトが相対時間遅れに基づく指数減衰に従い、fast cross-correlation/FFTベースのアルゴリズムでO(L log L)計算を実現する。
• Fourier基底を用いて主要な季節パターンを同定・外挿するFrequency Attention (FA)を提案し、O(L log L)の計算量を実現する。
• Residuals_from_lookbackウィンドウから潜在的な成長信号を抽出するMulti-Head ESA (MH-ESA)を構築する。
• 各エンコーダ層をSeasonal (FA)、Growth (MH-ESA)、Level の成分に分解し、学習可能な平滑化パラメータを用いて残差を段階的に refinedする。
• N層にわたるLevel、Growth、Seasonal成分の組成として予測をデコードし、成長減衰を含めてロバストな多段予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 時系列特有の帰納的バイアス（level、growth、seasonality）を予測のためのTransformerに組み込むことで、予測精度と解釈性を向上させることができるか。
• RQ2 Exponential Smoothing AttentionとFrequency Attentionは、時系列予測においてバニラアテンションよりも効率性と性能の利点を提供するか。
• RQ3 モジュール化された分解アーキテクチャは、古典的な指数平滑化と整合する意味のあるlevel、growth、seasonal表現を学習できるか。
• RQ4 提案されたETSformerは、長いlookbackウィンドウに対してスケーラブルで、 multivariateおよびunivariateデータセット上で競合的または優れた精度を達成できるか。

主な発見

• ETSformerは最先端の性能を達成し、35/40の多変量設定と17/23の単変量設定でベースラインを上回る。
• 最良でなくても依然として高い競争力を維持し、40の多変量設定すべて、23の単変量設定のうち21でトップ2にランクイン。
• アブレーションでは、Level、Growth、Seasonのいずれかを除くと性能が低下し、Levelが特に重要であることを示す。
• ETSformerは予測をLevel、Growth、Seasonal成分に分解して解釈可能な予測を提供し、合成データおよび実データの Ground-truthパターンと一致する。
• ESAと FAの機構はO(L log L)の計算量を実現し、長大シーケンス推論の効率性を可能にする。