[論文レビュー] Improving Long-Horizon Forecasts with Expectation-Biased LSTM Networks

Aya Abdelsalam Ismail, Timothy Wood+1 more|arXiv (Cornell University)|Apr 18, 2018

Stock Market Forecasting Methods参考文献 13被引用数 23

ひとこと要約

本稿では、K-meansを用いたクラスタリングまたはターゲット系列の平均化を通じてモデルバイアスを統合することで、長期間予測の精度を向上させる期待値バイアス付きLSTMネットワークを提案する。ターゲットを系列の各ステップに複製し、学習されたバイアスを注入することで、平均絶対誤差（MAE）が著しく低減され、アルツハイマー病の脳室体積予測において一変量LSTMより47%の改善が達成され、米国電力消費予測においてもベースラインを上回る性能を示した。

ABSTRACT

State-of-the-art forecasting methods using Recurrent Neural Net- works (RNN) based on Long-Short Term Memory (LSTM) cells have shown exceptional performance targeting short-horizon forecasts, e.g given a set of predictor features, forecast a target value for the next few time steps in the future. However, in many applica- tions, the performance of these methods decays as the forecasting horizon extends beyond these few time steps. This paper aims to explore the challenges of long-horizon forecasting using LSTM networks. Here, we illustrate the long-horizon forecasting problem in datasets from neuroscience and energy supply management. We then propose expectation-biasing, an approach motivated by the literature of Dynamic Belief Networks, as a solution to improve long-horizon forecasting using LSTMs. We propose two LSTM ar- chitectures along with two methods for expectation biasing that significantly outperforms standard practice.

研究の動機と目的

• 深層RNN、特にLSTMを用いた長期間時系列予測における不正確さの課題に対処すること。
• 長期間予測における誤差の指数的増加を、モデルに構造的バイアスを導入することで克服すること。
• 長期間にわたる時間的および因果的依存関係を活用することで、多変量予測を改善すること。
• 実世界のデータセット（アルツハイマー病の進行状況と米国電力消費）を用いて有効性を実証すること。
• 長期間の勾配流れを安定化させるために、逐次的ターゲット複製を用いた新たなトレーニング戦略を提案すること。

提案手法

• 長期間系列における代表的なターゲットパターン（K-meansクラスタリングまたは平均化により）を学習するバイアスモジュールを導入する。
• 逐次的ターゲット複製を適用：系列の全タイムステップに最終ターゲット値を複製し、一貫した誤差信号を提供する。
• Adam最適化アルゴリズムを用い、500～1000エポックにわたり、2層構造で各層に64個のメモリセルを有するLSTMをトレーニングする。
• 不規則な患者の来院スケジュールに対応できるように、可変長系列を用いる。
• 入力特徴量（脳室体積、人口統計学的要因など）をスケーリングし、時系列データを教師あり学習形式に変換する。
• モデルを2回トレーニングする：通常のターゲットを用いた1回目と、複製ターゲットを用いた2回目で、長期一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 学習されたバイアスをLSTMに組み込むことで、標準的なRNNを上回る長期間予測の精度向上が達成可能か？
• RQ2 系列の各ステップにターゲットを複製することは、勾配の安定性および長期予測性能にどのように影響するか？
• RQ3 K-meansを用いてターゲット系列をクラスタリングすることは、単純な平均化やバイアスなしの状況と比較して、より優れた長期予測をもたらすか？
• RQ4 本手法は、パーシステンス法および古典的な多変量LSTMベースラインと比較して、長期医療およびエネルギー予測タスクで優れた性能を示すか？
• RQ5 長期間予測において、バイアス表現の最適なクラスタ中心数は何か？

主な発見

• K-meansバイアス（K=2）を有する本手法のModel 1は、ADNIデータセットにおいて平均絶対誤差（MAE）を0.002673まで低減し、一変量LSTMベースライン（0.005042）と比較して47%の改善を達成した。
• 平均化ベースのバイアスを用いることでMAEが0.002673に達し、一変量LSTMを上回り、最良のK-means設定と同等の性能を示した。
• 電力消費予測においては、K-meansによるバイアスの導入が、全テストクラスタ数において精度向上をもたらし、K=2で最も低いMAEが観測された。
• ターゲット複製はモデル性能を顕著に向上させ、特にバイアス注入と組み合わせることで、長期にわたる誤差増大を抑制した。
• K-meansバイアス（K=2）を有するモデルは、アルツハイマー病およびエネルギーデータセットの両方で、古典的な多変量LSTMおよびパーシステンスベースラインをすべて上回った。
• 本手法は、異なるデータモダリティおよび予測期間にわたり、強固な性能を示し、長期時系列予測タスクへの一般化可能性を裏付けた。