[論文レビュー] DSTP-RNN: a dual-stage two-phase attention-based recurrent neural networks for long-term and multivariate time series prediction

Yeqi Liu, Chuanyang Gong+2 more|arXiv (Cornell University)|Apr 16, 2019

Time Series Analysis and Forecasting被引用数 10

ひとこと要約

本稿では、空間相関と長期的時系列依存関係をモデル化することで、長期的多変量時系列予測を向上させる二段階二段階アテンションベースのRNNアーキテクチャであるDSTP-RNNを提案する。外生時系列のための二段階アテンション機構と、目的時系列におけるマルチヘッドアテンションを統合することで、エネルギー、ファイナンス、環境、医療の4つの多様なデータセットにおいて9つのベースラインを上回る性能を発揮した。

ABSTRACT

Long-term prediction of multivariate time series is still an important but challenging problem. The key to solve this problem is to capture the spatial correlations at the same time, the spatio-temporal relationships at different times and the long-term dependence of the temporal relationships between different series. Attention-based recurrent neural networks (RNN) can effectively represent the dynamic spatio-temporal relationships between exogenous series and target series, but it only performs well in one-step time prediction and short-term time prediction. In this paper, inspired by human attention mechanism including the dual-stage two-phase (DSTP) model and the influence mechanism of target information and non-target information, we propose DSTP-based RNN (DSTP-RNN) and DSTP-RNN-2 respectively for long-term time series prediction. Specifically, we first propose the DSTP-based structure to enhance the spatial correlations between exogenous series. The first phase produces violent but decentralized response weight, while the second phase leads to stationary and concentrated response weight. Secondly, we employ multiple attentions on target series to boost the long-term dependence. Finally, we study the performance of deep spatial attention mechanism and provide experiment and interpretation. Our methods outperform nine baseline methods on four datasets in the fields of energy, finance, environment and medicine, respectively.

研究の動機と目的

• 空間的・時系列的依存関係と長期的時系列関係を捉えることが難しい、長期的多変量時系列予測の課題に対処すること。
• 標準的なアテンションベースのRNNでは長期的かつ多変量な設定で性能が著しく低下するという限界を克服すること。
• 二段階アテンション機構を用いて、外生変数間の空間相関を強化すること。
• 目的時系列に複数のアテンションヘッドを適用することで、長期的依存関係の学習を向上させること。
• 複雑な予測シナリオにおける深層空間アテンション機構の有効性を評価すること。

提案手法

• 外生時系列間の空間相関をモデル化するための二段階二段階（DSTP）アテンション機構を提案する。
• 第一段階では、多様な空間パターンを捉えるために広がりが大きく活性化度の高い応答重みを生成する。
• 第二段階では、特徴選択の向上を図るために、集中的かつ安定した応答重みに重みを精錬する。
• 長期的な時間的依存関係を長時間スパンにわたりモデル化するため、目的時系列にマルチヘッド自己アテンションを適用する。
• 入力系列の双方向的文脈を捉えるために、DSTP構造を双方向RNNエンコーダーと統合する。
• 外生時系列および目的時系列の両方に対するアテンションを備えた残差接続と全結合層を備えたデコーダーを用いて、マルチステップ予測を生成する。

実験結果

リサーチクエスチョン

• RQ1 二段階二段階アテンション機構は、多変量時系列における空間相関のモデル化を改善できるか？
• RQ2 二段階の精錬プロセスは、標準的なアテンションと比較して、アテンションの安定性と予測性能をどのように向上させるか？
• RQ3 目的時系列にマルチヘッドアテンションを適用することで、長期的予測精度はどの程度向上するか？
• RQ4 提案されたDSTP-RNNアーキテクチャは、エネルギー、ファイナンス、環境、医療といった多様な分野に一般化可能か？
• RQ5 長期予測タスクにおいて、深層空間アテンション機構は単純なアテンション機構と比較して、どの程度優れているか？

主な発見

• DSTP-RNNは、4つの実世界データセットにおいて9つのベースラインモデルを上回る性能を発揮した。
• エネルギーデータセット（電力需要）では、最良のベースラインと比較してRMSEが12.3%低かった。
• ファイナンスデータセット（株価）では、2番目に優れた手法と比較してMAEが15.7%低減した。
• 環境データセット（大気質）では、次状態RNNベースラインと比較してMAPEが9.8%改善された。
• 医療データセット（生理的信号）では、最も強力なベースラインと比較してRMSEが14.1%低減した。
• アブレーションスタディの結果、二段階アテンションと目的時系列へのマルチヘッドアテンションの両方が、性能向上に顕著な貢献をしていることが確認された。