[論文レビュー] Hierarchical Attention-Based Recurrent Highway Networks for Time Series Prediction

Yunzhe Tao, Lin Ma+4 more|arXiv (Cornell University)|Jun 2, 2018

Time Series Analysis and Forecasting参考文献 23被引用数 22

ひとこと要約

本稿では、空間的・時系列的特徴抽出とターゲット変数の時系列ダイナミクスモデリングを、畳み込みニューラルネットワーク（ConvNet）と再帰的ハイウェイネットワーク（RHN）を用いて統合した、エンドツーエンドの深層学習モデルである階層的アテンションベースの再帰的ハイウェイネットワーク（HRHN）を提案する。階層的アテンション機構により、意味的レベルに跨る関連特徴を動的に選択する。HRHNは、特に急激な変化や振動を捉える能力に優れ、時系列予測において最先端の手法を上回る性能を示す。

ABSTRACT

Time series prediction has been studied in a variety of domains. However, it is still challenging to predict future series given historical observations and past exogenous data. Existing methods either fail to consider the interactions among different components of exogenous variables which may affect the prediction accuracy, or cannot model the correlations between exogenous data and target data. Besides, the inherent temporal dynamics of exogenous data are also related to the target series prediction, and thus should be considered as well. To address these issues, we propose an end-to-end deep learning model, i.e., Hierarchical attention-based Recurrent Highway Network (HRHN), which incorporates spatio-temporal feature extraction of exogenous variables and temporal dynamics modeling of target variables into a single framework. Moreover, by introducing the hierarchical attention mechanism, HRHN can adaptively select the relevant exogenous features in different semantic levels. We carry out comprehensive empirical evaluations with various methods over several datasets, and show that HRHN outperforms the state of the arts in time series prediction, especially in capturing sudden changes and sudden oscillations of time series.

研究の動機と目的

• 既存の時系列モデルが、外部変数間の相互作用やその時系列的ダイナミクスを適切にモデル化できないという限界を解消すること。
• 外部データとターゲット系列間の複雑な相関関係を捉えることで、特に急激な変化や振動の際にも予測精度を向上させること。
• 外部要因の空間的関係と長期的な時系列依存関係を同時にモデリングする統合フレームワークの構築。
• 将来の予測を、未来の外部変数を必要とせず、過去の外部データと歴史的観測値のみを用いて信頼性高く実現すること。
• 時系列表現の複数の意味的レベルに跨る関連特徴を選択する階層的アテンション機構の設計。

提案手法

• 各時刻における外部変数の異なる要素間の空間的相関を抽出するために、畳み込みニューラルネットワーク（ConvNet）を用いる。
• 再帰的ハイウェイネットワーク（RHN）を用いて、外部系列およびターゲット系列の時系列的ダイナミクスをモデリングし、残差接続により深く階層的な表現を実現する。
• RHNエンコーダーの複数の層に跨って階層的アテンション機構を適用し、予測に最も関連する空間的・時系列的特徴を動的に選択する。
• エンコーダ-デコーダアーキテクチャを用いて、歴史的観測値と過去の外部データを処理し、エンドツーエンドで将来の時系列予測を生成する。
• 標準的なシーケンス・ツー・シーケンス損失関数を用いてエンドツーエンドで学習し、RHNの途中隠れ状態を対象にアテンション重みを計算する。
• 入力ウィンドウサイズと再帰深さを変化させることで、パラメータ感度を評価し、さまざまな設定においても安定性が確認された。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、外部入力を持つ多次元時系列において、空間的および時系列的依存関係を効果的にモデル化できるか？
• RQ2 階層的アテンション機構により、外部データおよびターゲットデータの関連する意味的レベルの表現に焦点を当てる能力が、予測性能の向上に寄与するか？
• RQ3 提案手法は、時系列の急激な変化や振動の予測において、既存の最先端手法を上回ることができるか？
• RQ4 入力ウィンドウサイズや再帰深さなどのハイパーパrameterに、モデルの性能がどれほど敏感か？
• RQ5 異なる特性やノイズレベルを有する多様な時系列データセットにおいて、モデルは一般化可能か？

主な発見

• HRHNは、すべての指標およびデータセットでDA-RNNおよび単一のRHNを上回り、RMSE、MAE、MAPEの観点から統計的に有意な改善を示した。
• RHN + ConvNetの変種は、常にDA-RNNおよび単一のRHNを上回り、外部要因の成分間の空間的相互作用をモデル化することの価値を示した。
• 階層的アテンション機構により、RHNおよびRHN + ConvNetの両方の性能がさらに向上し、意味的レベルに跨る情報的特徴の選択が有効であることが確認された。
• モデルは高いロバスト性を示し、異なるウィンドウサイズや再帰深さにおいて2％未満の性能変動にとどまり、安定した一般化性能を示した。
• HRHNは、特に時系列の急激な変化や振動を捉える能力に優れており、既存手法に比して顕著な利点を有する。
• アブレーションスタディにより、RHNの中間層に有用な情報が含まれており、階層的アテンション機構がその情報を効果的に活用して予測性能を向上させていることが確認された。