[論文レビュー] Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

Haoyi Zhou, Shanghang Zhang+5 more|arXiv (Cornell University)|Dec 14, 2020

Time Series Analysis and Forecasting参考文献 57被引用数 462

ひとこと要約

InformerはProbSparse自己注意、アテンション蒸留、および生成型スタイルのデコーダを導入し、Transformer風モデルを用いた効率的でスケーラブルな長期シーケンス時系列予測を実現します。

ABSTRACT

Many real-world applications require the prediction of long sequence time-series, such as electricity consumption planning. Long sequence time-series forecasting (LSTF) demands a high prediction capacity of the model, which is the ability to capture precise long-range dependency coupling between output and input efficiently. Recent studies have shown the potential of Transformer to increase the prediction capacity. However, there are several severe issues with Transformer that prevent it from being directly applicable to LSTF, including quadratic time complexity, high memory usage, and inherent limitation of the encoder-decoder architecture. To address these issues, we design an efficient transformer-based model for LSTF, named Informer, with three distinctive characteristics: (i) a $ProbSparse$ self-attention mechanism, which achieves $O(L \log L)$ in time complexity and memory usage, and has comparable performance on sequences' dependency alignment. (ii) the self-attention distilling highlights dominating attention by halving cascading layer input, and efficiently handles extreme long input sequences. (iii) the generative style decoder, while conceptually simple, predicts the long time-series sequences at one forward operation rather than a step-by-step way, which drastically improves the inference speed of long-sequence predictions. Extensive experiments on four large-scale datasets demonstrate that Informer significantly outperforms existing methods and provides a new solution to the LSTF problem.

研究の動機と目的

• 長期シーケンス時系列予測（LSTF）とその予測能力の課題に着目する。
• LSTFのための計算量とメモリ効率に優れたTransformerベースのモデルを開発する。
• 二次のコストを伴わずに長距離依存性の捕捉を改善するメカニズムを提案する。
• 大規模な実世界データセットで実用的かつスケーラブルな予測を実証する。

提案手法

• 標準的な自己注意をProbSparse自己注意に置換し、O(L log L)の時間とメモリを実現する。
• アテンション蒸留を導入して支配的なアテンションを強調し、層ごとのダウンサンプリングによりメモリを削減する。
• 長い出力シーケンスを単一の前方伝播で予測する生成型スタイルのデコーダを使用し、推論時間と誤差蓄積を低減する。
• グローバルおよびローカルの時系列文脈を強化する入力表現を備えた、LSTFに特化したエンコーダ-デコーダアーキテクチャを提供する。
• ターゲットシーケンス全体に対してMSE損失で学習し、単変量および多変量予測タスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 時系列予測で非常に長い入力/出力シーケンスに対して、Transformer風モデルを計算量・メモリ効率化することは可能か。
• RQ2 ProbSparse自己注意、アテンション蒸留、および生成デコーダはLSTFの精度と効率を共同で改善するか。
• RQ3 Informerは実世界データセット上で単変量と多変量の長期予測でどう性能を示すか。

主な発見

• Informerは複数のデータセットとホライズン長に渡って予測性能を大幅に向上させる。
• ProbSparse自己注意は計算量とメモリを二次からほぼ線形へと削減し、依存関係の整合性を競合的に維持する。
• アテンション蒸留はエンコーダのメモリを大幅に削減しつつ、長距離情報処理を維持または改善する。
• 生成型スタイルのデコーダは単一の前方伝播で長いシーケンス出力を可能にし、推論を高速化し誤差伝播を緩和する。
• アブレーション研究は、さまざまな設定下でProbSparse機構と蒸留手法の有効性を示している。