[論文レビュー] Time Series Forecasting Based on Augmented Long Short-Term Memory

Daniel Hsu|arXiv (Cornell University)|Jul 3, 2017

Time Series Analysis and Forecasting参考文献 16被引用数 34

ひとこと要約

本稿では、ベイジアンニューラルネットワークとホーシューピライオアスを用いた階層的潜在変数フレームワークを用いて、マルチペリオド時系列予測の精度を向上させる拡張LSTMモデルを提案する。複数の解像度における時間的依存関係をモデル化し、余分な入力変数を自動で削除することで、合成データおよび実世界のデータセットにおいて優れた予測精度を達成する。

ABSTRACT

In this paper, we use augmented the hierarchical latent variable model to model multi-period time series, where the dynamics of time series are governed by factors or trends in multiple periods. Previous methods based on stacked recurrent neural network (RNN) and deep belief network (DBN) models cannot model the tendencies in multiple periods, and no models for sequential data pay special attention to redundant input variables which have no or even negative impact on prediction and modeling. Applying hierarchical latent variable model with multiple transition periods, our proposed algorithm can capture dependencies in different temporal resolutions. Introducing Bayesian neural network with Horseshoe prior as input network, we can discard the redundant input variables in the optimization process, concurrently with the learning of other parts of the model. Based on experiments with both synthetic and real-world data, we show that the proposed method significantly improves the modeling and prediction performance on multi-period time series.

研究の動機と目的

• 従来のRNNおよびDBNモデルがマルチペリオドの時間的トレンドを捉えることの制限を解消すること。
• 複数の遷移期間にわたる階層的潜在変数を用いて時系列のダイナミクスをモデル化すること。
• Horseshoe priorsを用いたベイジアン正則化により、冗長または関係のない入力変数からのノイズを低減すること。
• モデルパラメータの共同学習と非情報性のある入力の同定を通じて、予測性能を向上させること。

提案手法

• モデルは、複数の時間的解像度にわたる時系列ダイナミクスを表現するための階層的潜在変数構造を採用する。
• 最適化中に自動で入力変数選択が行えるよう、Horseshoe priorを組み込んだベイジアンニューラルネットワークを統合する。
• Horseshoe priorにより、関係のない入力の重みがゼロに収縮され、冗長な特徴が効果的に排除される。
• 順序データにおける長期的依存関係を捉えるために、スタックされたLSTM層を用いる。
• 変分推論を用いた近似事後分布推定とともに、確率的勾配降下法を用いてエンドツーエンドでモデルを訓練する。
• 潜在空間における構造化された遷移行列を通じて、異なる期間間の時間的依存関係を明示的にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 階層的潜在変数モデルは、時系列データにおけるマルチペリオドの時間的依存関係を効果的に捉えることができるか？
• RQ2 Horseshoe priorsを組み込むことで、余分な入力変数を排除することにより、モデルのロバスト性がどのように向上するか？
• RQ3 提案手法は、標準のRNNおよびDBNモデルよりもマルチペリオド予測タスクで優れた性能を示すか？
• RQ4 ベイジアン正則化は、実世界の時系列データにおいて一般化性能をどの程度向上させるか？

主な発見

• 提案手法は、ベースラインのRNNおよびDBNモデルと比較して、合成時系列データおよび実世界の時系列データの両方で予測精度を顕著に向上させる。
• Horseshoe priorは、学習中に不要な入力変数を効果的に同定・抑制し、モデルの解釈性を向上させる。
• 階層的潜在構造は、標準のRNNよりも複数の時間的解像度にわたる長距離依存関係をより効果的に捉える。
• 入力データにノイズや関係のない特徴が含まれても、モデルは頑健な性能を示す。
• 実験結果から、RMSEやMAEなどの予測指標が、多様な時系列ベンチマークで一貫して向上することが示された。