[論文レビュー] NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting

Kai Chen, Guang Chen+4 more|arXiv (Cornell University)|Feb 10, 2021

Time Series Analysis and Forecasting参考文献 31被引用数 22

ひとこと要約

本稿では、自己回帰的デコードを排除することで累積誤差を回避する、時系列予測を目的とした非自己回帰的空間時系列トランスフォーマーNASTを提案する。学習された時系列影響マップを導入することで、空間的・時系列的アテンションを統合し、エゴセントリック未来位置特定データセットにおいて、精度とリアルタイム推論性能の両面で最先端の性能を達成した。

ABSTRACT

Although Transformer has made breakthrough success in widespread domains especially in Natural Language Processing (NLP), applying it to time series forecasting is still a great challenge. In time series forecasting, the autoregressive decoding of canonical Transformer models could introduce huge accumulative errors inevitably. Besides, utilizing Transformer to deal with spatial-temporal dependencies in the problem still faces tough difficulties.~To tackle these limitations, this work is the first attempt to propose a Non-Autoregressive Transformer architecture for time series forecasting, aiming at overcoming the time delay and accumulative error issues in the canonical Transformer. Moreover, we present a novel spatial-temporal attention mechanism, building a bridge by a learned temporal influence map to fill the gaps between the spatial and temporal attention, so that spatial and temporal dependencies can be processed integrally. Empirically, we evaluate our model on diversified ego-centric future localization datasets and demonstrate state-of-the-art performance on both real-time and accuracy.

研究の動機と目的

• 自己回帰的トランスフォーマーによる時系列予測における固有の時間遅延および誤差蓄積問題を解消すること。
• 学習可能なメカニズムを用いて、時系列データにおける空間的および時系列的依存関係を統合することで、そのギャップを埋めること。
• 高速な推論を可能にしつつも、高い予測精度を維持できる非自己回帰的アーキテクチャを設計すること。
• 多様なエゴセントリック未来位置特定データセット上でモデルを評価し、その頑健性および最先端の性能を示すこと。

提案手法

• 逐次的予測を排除する非自己回帰的トランスフォーマー・デコーダーを提案することで、推論中に誤差が蓄積されないようにする。
• 空間的および時系列的表現を動的に接続するため、学習された時系列影響マップを用いる、新しい空間時系列アテンション機構を導入する。
• 時系列影響マップは、時系列特徴が空間的アテンションに与える影響を学習し、空間的および時系列的依存関係を統合的にモデル化可能にする。
• クエリを並列に生成するマルチヘッドアテンション機構を採用し、キーとバリューは空間的および時系列的エンコーディングから得られる。
• 非自己回帰的予測が真値シーケンスに近づくように、蒸留ベースの目的関数を用いてモデルを訓練する。
• 非自己回帰設定においても時間的順序を保持するために、位置エンコーディングを適用し、予測の時間的整合性を確保する。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的アプローチと比較して、非自己回帰的トランスフォーマー・アーキテクチャは、時系列予測における誤差蓄積を効果的に低減できるか？
• RQ2 学習された時系列影響マップは、空間的および時系列的アテンションをどれほど効果的に統合し、時空間的依存関係をモデル化できるか？
• RQ3 提案されたNASTモデルは、現実世界の時系列データにおいて、予測精度を損なわずに高速な推論速度を達成できるか？
• RQ4 NASTは、既存の最先端手法と比較して、多様なエゴセントリック未来位置特定ベンチマークでどれほど優れた性能を示すか？

主な発見

• NASTは、複数のエゴセントリック未来位置特定データセットで最先端の性能を達成し、既存の自己回帰的および非自己回帰的モデルを上回った。
• 自己回帰的デコードを排除することで、推論時間を顕著に短縮し、リアルタイム予測が可能になった。
• 学習された時系列影響マップは、空間的および時系列的特徴間のクロスモダリティ依存関係を効果的に捉えており、モデルの忠実性を向上させた。
• 実証的結果から、NASTは長時間予測の設定においても高い精度を維持しており、誤差伝搬に対して頑健であることが示された。