[論文レビュー] Time Series Forecasting Using LSTM Networks: A Symbolic Approach

Steven Elsworth, Stefan Güttel|arXiv (Cornell University)|Mar 12, 2020

Time Series Analysis and Forecasting参考文献 37被引用数 91

ひとこと要約

この論文は、時系列のABBA象徴表現をLSTMと組み合わせた ABBA-LSTM を提案し、訓練を速めつつハイパーパラメータ感度を低減し、予測性能を維持する。

ABSTRACT

Machine learning methods trained on raw numerical time series data exhibit fundamental limitations such as a high sensitivity to the hyper parameters and even to the initialization of random weights. A combination of a recurrent neural network with a dimension-reducing symbolic representation is proposed and applied for the purpose of time series forecasting. It is shown that the symbolic representation can help to alleviate some of the aforementioned problems and, in addition, might allow for faster training without sacrificing the forecast performance.

研究の動機と目的

• 生データの時系列に対する LSTM の限界（ハイパーパラメータや初期化への感度）を動機づけて対処する。
• パッチ処理を用いて時系列を圧縮・再構成する ABBA シンボリック表現を導入する。
• ABBA-LSTM がより高速な訓練で同等の予測性能を達成できることを示す。
• 再現性のある Python コードと生データ LSTM との比較分析を提供する。

提案手法

• ABBA シンボリック表現を説明する：区分的線形セグメントへの圧縮、k 個のシンボルへのデジタイズ、パッチベースの再構成。
• シンボリック系列で訓練し、最終的にソフトマックス層を用いてシンボルを予測することで ABBA を LSTM に統合する（ABBA-LSTM）。
• 時系列予測における LSTM の2つの訓練方式（stateful と stateless）を比較する。
• raw と symbolic モデルで出力層を調整し、2 層の LSTM アーキテクチャを用い、先頭の2 層を c 個のセルとする。
• 生データ LSTM には平均二乗誤差を、ABBA-LSTM にはカテゴリカル交差エントロピーを用いて評価し、Adam 最適化と早期停止を用いる。

実験結果

リサーチクエスチョン

• RQ1 ABBA シンボリック表現は生データ LSTM と比較して訓練時間を削減し、予測精度を維持できるか？
• RQ2 ABBA-LSTM はハイパーパラメータと初期化への感度を低減させるか？
• RQ3 stateful と stateless の訓練が ABBA-LSTM と生データ LSTMの性能にどう影響するか？
• RQ4 ABBA パッチングを用いる場合と直接数値再構成を用いる場合で予測にどのような挙動の違いが現れるか？

主な発見

• ABBA-LSTM は訓練がより容易で、生データ LSTM と同等の予測性能を達成できる。
• シンボリック ABBA 表現はハイパーパラメータおよび初期重みへの感度を低減する。
• ABBA パッチングは出力を観測されたパッチ形状に制約することで、視覚的により魅力的な予測を生む。
• 実験は stateless 訓練が通常 stateful 訓練より DTW 距離が大きい傾向を示し、生データ LSTM が一般にロバストでない。