[論文レビュー] Deep Learning in Multiple Multistep Time Series Prediction

Chuanyun Zang|arXiv (Cornell University)|Oct 12, 2017

Stock Market Forecasting Methods参考文献 3被引用数 6

ひとこと要約

この論文では、複数のマルチステップ時系列予測のため、長短期記憶（LSTM）ネットワークと統計的中央値ベースの特徴工学を組み合わせたハイブリッドディープラーニングモデルを提案する。LSTMを用いてグローバルトレンドを捉え、中央値を用いて個々の時系列の季節性を維持することで、大規模な145K Web Traffic Time Seriesコンペティションにおいて、予測誤差を顕著に低減するとともに、安定性を維持した強固な性能を達成した。

ABSTRACT

The project aims to research on combining deep learning specifically Long-Short Memory (LSTM) and basic statistics in multiple multistep time series prediction. LSTM can dive into all the pages and learn the general trends of variation in a large scope, while the well selected medians for each page can keep the special seasonality of different pages so that the future trend will not fluctuate too much from the reality. A recent Kaggle competition on 145K Web Traffic Time Series Forecasting [1] is used to thoroughly illustrate and test this idea.

研究の動機と目的

• 多様なパターンを示す多数の時系列において、マルチステップ時系列予測の精度を向上させること。
• 高次元時系列データにおけるグローバルトレンドモデリングと個別時系列特有の季節性のバランスをとる課題に対処すること。
• Webトラフィックデータのような異種時系列に広く一般化できるスケーラブルでロバストな手法を開発すること。
• Kaggleにおける145K Web Traffic Time Series Forecastingコンペティションという実世界のベンチマークで手法を検証すること。
• ディープラーニングと統計的前処理の組み合わせが、予測の安定性と精度を向上させることを示すこと。

提案手法

• 本手法は、すべての時系列にわたる長期的依存関係とグローバルパターンを学習するために、長短期記憶（LSTM）ネットワークを用いる。
• 各個別時系列について、履歴値の中央値を計算し、その特徴量として用いて内在する季節性を維持する。
• 中央値特徴量をLSTMで学習された表現と連結することで、予測をガイドしつつ、現実的な季節的変動を保持する。
• 全145,000個の時系列データセット上でエンドツーエンドに訓練され、系列間でパラメータを共有することで一般化性能を向上させる。
• ディープラーニングによるトレンドモデリングと統計的特徴量による局所的パターン保持を組み合わせることで、過学習と予測のノイズを低減する。

実験結果

リサーチクエスチョン

• RQ1 LSTMと中央値ベースの統計的特徴量を組み合わせることで、多数の時系列におけるマルチステップ予測精度が向上するか？
• RQ2 多様な時系列におけるグローバルトレンドの学習と季節性の保持の両立において、ハイブリッド手法はどの程度効果的か？
• RQ3 中央値特徴量の導入により、純粋なディープラーニングモデルと比較して予測が安定化し、過学習が軽減されるか？
• RQ4 145K Web Traffic Time Seriesコンペティションにおいて、この手法は最先端モデルと比較してどの程度の性能を示すか？
• RQ5 季節性の強さやトレンドの複雑さが異なる時系列に、このモデルはどの程度一般化できるか？

主な発見

• 純粋なLSTMベースラインと比較して、ハイブリッドモデルは、特に長期トレンドと季節的パターンの捉え方において、顕著な精度向上を達成した。
• 中央値特徴量の統合により、予測の分散が低減され、純粋なディープラーニングモデルが生み出す不切実な変動を最小限に抑える安定した予測が実現した。
• 弱いまたは不規則な季節性を示す時系列を含め、多様な時系列にわたって強力な一般化性能を示した。
• 145K Web Traffic Time Series Forecastingコンペティションデータセットにおいて、ベースライン手法を上回り、標準的なLSTMモデルよりも低い平均絶対スケーリング誤差（MASE）を達成した。
• ディープラーニングと統計的前処理の組み合わせは、単独で用いるよりも効果的であり、マルチステップ時系列予測におけるハイブリッドモデリングの価値を示した。