[論文レビュー] Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting

Haixu Wu, Jiehui Xu+2 more|arXiv (Cornell University)|Jun 24, 2021

Neural Networks and Applications被引用数 1,311

ひとこと要約

Autoformerは、分解ベースのトランスフォーマーアーキテクチャとAuto-Correlation機構を導入し、効率的で正確な長期時系列予測を実現する。複雑さはO(L log L)、6つのベンチマークで最先端の結果。

ABSTRACT

Extending the forecasting time is a critical demand for real applications, such as extreme weather early warning and long-term energy consumption planning. This paper studies the long-term forecasting problem of time series. Prior Transformer-based models adopt various self-attention mechanisms to discover the long-range dependencies. However, intricate temporal patterns of the long-term future prohibit the model from finding reliable dependencies. Also, Transformers have to adopt the sparse versions of point-wise self-attentions for long series efficiency, resulting in the information utilization bottleneck. Going beyond Transformers, we design Autoformer as a novel decomposition architecture with an Auto-Correlation mechanism. We break with the pre-processing convention of series decomposition and renovate it as a basic inner block of deep models. This design empowers Autoformer with progressive decomposition capacities for complex time series. Further, inspired by the stochastic process theory, we design the Auto-Correlation mechanism based on the series periodicity, which conducts the dependencies discovery and representation aggregation at the sub-series level. Auto-Correlation outperforms self-attention in both efficiency and accuracy. In long-term forecasting, Autoformer yields state-of-the-art accuracy, with a 38% relative improvement on six benchmarks, covering five practical applications: energy, traffic, economics, weather and disease. Code is available at this repository: \\url{https://github.com/thuml/Autoformer}.

研究の動機と目的

• 長期的な時系列予測における複雑な時間パターンをモデル化して課題に対処する。
• 情報の活用を損なうことなく、長いシーケンスのためのTransformerベース予測の効率を向上させる。
• 前処理としてではなく、モデル内で動作する逐次的な分解フレームワークを導入する。
• シリーズの周期性を活用して、サブシリーズレベルで集合化するAuto-Correlation機構を設計する。

提案手法

• Autoformerを提案する。これは、TrendとCyclicalおよび季節成分を分離するSeriesDecomp内蔵ブロックを組み込んだ分解予測アーキテクチャである。
• 標準的な自己注意を、系列の自己相関を用いて周期ベースの依存関係を識別するAuto-Correlation機構に置き換える。
• オートコリレーションをFFT（Wiener–Khinchinの定理）で計算し、O(L log L)の複雑さを達成し、サブシリーズを選択した時刻遅延でロールして集約する。
• エンコーダを構造化して季節成分をモデル化し、デコーダではトレンド部分の蓄積によってトレンド情報を段階的に洗練させる。
• forecasting中、各層内に内部分解ブロックを組み込み、隠れ変数を段階的に分解していく。

実験結果

リサーチクエスチョン

• RQ1 分解と周期性をどのように深層予測モデルに組み込み、長い予測期間を扱えるようにするか。
• RQ2 系列ごとの注意機構（Auto-Correlation）は、長いシーケンスにおいて点ごとの自己注意よりも精度と効率の面で優れているか。
• RQ3 深層モデル内の逐次的分解は、実世界の複数ドメインにおける長期予測の頑健性と精度を向上させるか。
• RQ4 標準的な長期予測ベンチマークに対して、Autoformerは最先端のTransformerベース手法と比較して実証的な利得を得るか。

主な発見

• Autoformerは、エネルギー・交通・経済・気象・疾病にまたがる6つのベンチマークで最先端の精度を達成する。
• 提案されたAuto-Correlation機構はO(L log L)の複雑さを提供し、周期レベルでサブシリーズを集約することで情報利用を向上させる。
• Autoformerは長期的な頑健性を示し、予測長さが増加しても性能低下がより緩やかである。
• 逐次的分解アーキテクチャは他のモデルと組み合わせると性能を向上させ、分解アプローチの広い適用可能性を示す。
• さまざまな設定で、Autoformerはベースラインに対して複数のデータセットでMSEを大幅に低減させる（例：平均で最大38%程度の削減） 。