[論文レビュー] Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks

Guokun Lai, Wei-Cheng Chang+2 more|arXiv (Cornell University)|Mar 21, 2017

Time Series Analysis and Forecasting参考文献 26被引用数 25

ひとこと要約

本論文では、短期間パターン抽出のための畳み込みニューラルネットワーク（CNN）、長期依存関係モデリングのための再帰的ニューラルネットワーク（RNN）、スケールに依存しない予測を処理する自己回帰（AR）コンponentを組み合わせた深層学習フレームワークLSTNetを提案する。LSTNetは、交通、太陽光発電、電力消費などの実世界データにおける毎日および毎週繰り返されるパターンを効果的に捉えることで、多次元時系列予測において最先端の性能を達成する。

ABSTRACT

Multivariate time series forecasting is an important machine learning problem across many domains, including predictions of solar plant energy output, electricity consumption, and traffic jam situation. Temporal data arise in these real-world applications often involves a mixture of long-term and short-term patterns, for which traditional approaches such as Autoregressive models and Gaussian Process may fail. In this paper, we proposed a novel deep learning framework, namely Long- and Short-term Time-series network (LSTNet), to address this open challenge. LSTNet uses the Convolution Neural Network (CNN) and the Recurrent Neural Network (RNN) to extract short-term local dependency patterns among variables and to discover long-term patterns for time series trends. Furthermore, we leverage traditional autoregressive model to tackle the scale insensitive problem of the neural network model. In our evaluation on real-world data with complex mixtures of repetitive patterns, LSTNet achieved significant performance improvements over that of several state-of-the-art baseline methods. All the data and experiment codes are available online.

研究の動機と目的

• 短期間および長期の繰り返しパターンが混在する多次元時系列予測の課題に対処すること。
• 従来の自己回帰モデルやガウス過程モデルが、局所的およびグローバルな時間的依存関係を両方効果的に捉えることの制限を克服すること。
• 局所的パターン抽出にCNNを、長期トレンドモデリングにRNNを、スケール不変の予測にARコンponentを統合する深層学習アーキテクチャを設計すること。
• 交通、太陽光発電、電力消費を含む複雑な時間的ダイナミクスを示す実世界データセットにおいて、頑健な性能を示すこと。
• 再現可能性および時系列予測分野におけるさらなる研究を支援するため、オープンソースのコードとデータを提供すること。

提案手法

• 1次元畳み込み層を用いて、多次元時系列から局所的かつシフト不変のパターン（"シェイプレット"）を抽出し、変数間の短時間依存関係を捉える。
• ゲート付き再帰ユニット（GRU）またはLSTM層を用いて、時系列データ内の長期的時間的依存関係およびトレンドをモデリングする。
• RNN出力の残差誤差をモデル化する自己回帰（AR）コンponentを統合し、スケール変動に対するロバストネスを向上させるとともに一般化性能を向上させる。
• RNN層にスキップ接続機構（スキップリカレントユニット）を適用し、ネットワークが直接に遠く離れた過去の時刻ステップに注目できるようにすることで、長距離依存関係の学習を改善する。
• 時系列的に分割された訓練セット上で平均二乗誤差（MSE）損失を用いてエンドツーエンドでモデルを訓練し、ハイパーパramータは検証セットでチューニングする。
• 周期的ガウスノイズをベース周期Tでモデル化するために床関数を用いる。これは、休日や天候の影響など、実世界の時系列におけるスケール変動を模倣する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、多次元時系列における短期間の局所的パターンと長期のグローバルトレンドの両方を効果的に捉えることができるか？
• RQ2 CNN、RNN、および自己回帰コンponentを組み合わせることで、単体のモデルと比較して予測精度がどのように向上するか？
• RQ3 LSTNetは、実世界の時系列における日次および週次サイクルを含む混合周期的パターンをどの程度正確にモデル化できるか？
• RQ4 自己回帰コンponentの導入により、時系列データのスケール変動に対するロバストネスが向上するか？
• RQ5 複雑な時間的ダイナミクスを示す多様な実世界データセットにおいて、LSTNetは最先端のベースラインと比較してどの程度の性能を発揮するか？

主な発見

• LSTNetは、Solar-Energy、Traffic、Electricityデータセットにおいて、VAR、RNN-GRU、その他のハイブリッドモデルを含む最先端のベースラインを著しく上回る性能を発揮する。
• Trafficデータセットにおいて、LSTNetは週次および日次パターンの両方を効果的に捉えているが、VARモデルは平日と週末のパターンを区別できていない。
• アブレーションスタディでは、ARコンponentを除いたモデル（LSTw/oAR）は、スケール変化が生じるテストデータに対して一般化性能が著しく低下しており、ARモジュールがスケール不変の予測に果たす役割を確認している。
• LSTNetは、スケール変動が生じるテストデータに対して、RNN-GRUよりもはるかに適応性が高く、ARコンponentの重要性を示している。
• スキップリカレント機構により、RNNが直接に遠く離れた時刻ステップに注目できるようになり、長距離依存関係のモデリングが向上している。
• 実験的結果から、LSTNetはすべてのデータセットですべてのベースラインより低いRMSEを達成しており、複数の評価で統計的に有意な改善が得られている。