[論文レビュー] R2N2: Residual Recurrent Neural Networks for Multivariate Time Series Forecasting

Hardik Goel, Igor Melnyk+1 more|arXiv (Cornell University)|Sep 10, 2017

Stock Market Forecasting Methods参考文献 24被引用数 29

ひとこと要約

この論文では、線形ベクトル自己回帰（VAR）モデルと残差付き再帰的ニューラルネットワーク（RNN）を組み合わせたハイブリッドモデルR2N2を提案する。VARで線形的依存関係をモデル化し、RNNで非線形的残差を扱うことで、単独のVARやRNNと比較して予測精度が向上し、トレーニングが高速化され、モデルの複雑さも低減される。

ABSTRACT

Multivariate time-series modeling and forecasting is an important problem with numerous applications. Traditional approaches such as VAR (vector auto-regressive) models and more recent approaches such as RNNs (recurrent neural networks) are indispensable tools in modeling time-series data. In many multivariate time series modeling problems, there is usually a significant linear dependency component, for which VARs are suitable, and a nonlinear component, for which RNNs are suitable. Modeling such times series with only VAR or only RNNs can lead to poor predictive performance or complex models with large training times. In this work, we propose a hybrid model called R2N2 (Residual RNN), which first models the time series with a simple linear model (like VAR) and then models its residual errors using RNNs. R2N2s can be trained using existing algorithms for VARs and RNNs. Through an extensive empirical evaluation on two real world datasets (aviation and climate domains), we show that R2N2 is competitive, usually better than VAR or RNN, used alone. We also show that R2N2 is faster to train as compared to an RNN, while requiring less number of hidden units.

研究の動機と目的

• 多変量時系列予測において、純粋な線形モデル（例：VAR）や純粋な非線形モデル（例：RNN）の限界を解消すること。
• VARモデルにおける順序選択の難しさとスケーラビリティの問題、およびRNNにおけるトレーニングの難易度と過学習のリスクを克服すること。
• 線形ベースモデルからの残差をRNNでモデル化することで、線形モデルと非線形モデルの長所を活かしたフレームワークを構築すること。
• 残差モデル化によりRNNの負担が軽減され、より単純なアーキテクチャと高速な収束が可能になることを示すこと。
• 実世界の航空・気象データセットを用いて、ベースラインモデルと比較して一貫した性能向上を実証すること。

提案手法

• 多変量時系列にベースライン線形モデル（特にVAR-1）を適合させ、残差を計算する。
• VARモデルから得た残差を、非線形的依存関係と長期的パターンを捉えるためにLSTMベースのRNNに供給する。
• VAR部は標準的なVAR推定アルゴリズムで、RNN部はタイムスパンを考慮した誤差逆伝播法（backpropagation through time）でトレーニングする。
• 最終的な予測は、VARモデルの予測値と、残差に適用したRNNモデルの予測値の和として得る。
• 分野固有の特性に応じて、カルマンフィルターやARCHなど、異なるベースモデルをモジュール式に組み込める。
• RNN部は簡素化された入力空間（残差）を扱うため、モデルの複雑さが低減され、トレーニングが高速化される。

実験結果

リサーチクエスチョン

• RQ1 線形モデル（VAR）と非線形RNNを残差に組み合わせることで、多変量時系列予測の精度が向上するか？
• RQ2 R2N2アーキテクチャは、RNNをそのままトレーニングするのと比較して、トレーニング時間を短縮し、モデルの複雑さを低減するか？
• RQ3 多様な実世界データセットにおいて、R2N2は単独のVARモデルやRNNモデルと比較して、どのように性能を発揮するか？
• RQ4 VARをベースモデルとして用いることで、時系列モデルにおける順序選択の必要性がどの程度なくなるか？
• RQ5 R2N2は、単独のRNNと比較して、より少ないRNN隠れユニット数で優れた性能を達成できるか？

主な発見

• 航空データセットではR2N2-128が最も優れた性能を示し、VARおよび単独RNNを上回った。
• ENSO気象データセットでは、R2N2-64がテストしたすべてのアーキテクチャの中で最良の性能を示した。
• 航空データセットでは、R2N2が32ユニットのみでも、128ユニットの単独RNNを上回った。
• R2N2は単独RNNと比較して、トレーニングが著しく高速化された。初期段階で損失が急激に低下したのは、VAR部が大部分の線形構造を処理していたためである。
• R2N2のRNN部のトレーニング時間は、単独RNNと比較して顕著に短縮された。これは、入力の残差が複雑さが低減されたためである。
• 両データセットにおいて、複数回のランダムな重み初期化でも誤差バーが小さく安定していたことから、モデルの高い安定性が示された。