[論文レビュー] Multi-variable LSTM neural network for autoregressive exogenous model

Tian Guo, Tao Lin|arXiv (Cornell University)|Jun 17, 2018

Stock Market Forecasting Methods参考文献 25被引用数 15

ひとこと要約

本稿では、自己回帰的外部変数（ARX）時系列モデルにおける連合予測と変数重要度の解釈可能性を可能にする、テンソル化された隠れ状態を備えた多変数LSTM（MV-LSTM）を提案する。時間的および変数別アテンションメカニズムの混合を導入することで、MV-LSTMは事後推論に基づき変数重要度を定量化し、実データおよび合成データの両方でベースラインを上回る予測精度と解釈可能性を達成した。

ABSTRACT

In this paper, we propose multi-variable LSTM capable of accurate forecasting and variable importance interpretation for time series with exogenous variables. Current attention mechanism in recurrent neural networks mostly focuses on the temporal aspect of data and falls short of characterizing variable importance. To this end, the multi-variable LSTM equipped with tensorized hidden states is developed to learn hidden states for individual variables, which give rise to our mixture temporal and variable attention. Based on such attention mechanism, we infer and quantify variable importance. Extensive experiments using real datasets with Granger-causality test and the synthetic dataset with ground truth demonstrate the prediction performance and interpretability of multi-variable LSTM in comparison to a variety of baselines. It exhibits the prospect of multi-variable LSTM as an end-to-end framework for both forecasting and knowledge discovery.

研究の動機と目的

• 多変数時系列に外部変数を組み込んだ際、標準的なRNN（LSTMなど）が変数レベルの解釈可能性に欠けるという問題に対処すること。
• 正確な予測と変数重要度の定量化による知識発見を同時に可能にする統合的でエンドツーエンドのフレームワークを構築すること。
• 従来のアテンションメカニズムが時間的アテンションに限定されており、変数固有の寄与を捉えられていないという限界を克服すること。
• LSTMセル内での個々の変数の表現を可能にする、テンソル化された隠れ状態構造を設計すること。
• Granger因果関係テストを用いた実世界データおよび真値が分かっている合成データを用いて、モデルの性能と解釈可能性を検証すること。

提案手法

• 各隠れ状態テンソルの要素が、特定の入力変数に特化した情報を符号化する、テンソル化された隠れ状態を備えた多変数LSTM（MV-LSTM）を導入する。
• 時間的アテンション（時間ステップ間）と変数アテンション（入力変数間）を同時にモデル化する混合アテンションメカニズムを開発し、変数固有の隠れ状態を用いる。
• 学習済みの変数アテンション重みに基づいて変数重要度を定量化する確率的事後推論フレームワークを構築する。
• 事後アテンション分布を用いて、事前分布や正規化されていないアテンション重みよりも明確に区別できる解釈可能な重要度スコアを導出する。
• 予測損失とアテンション正則化を組み合わせてエンドツーエンドで学習することで、予測精度と解釈可能性の両方を向上させる。
• 実データ（PM2.5、Plant、Energy）および真値が分かっている合成データにモデルを適用し、性能と解釈可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 MV-LSTMは、外部変数を伴う多変数時系列に対して、標準的なRNN、統計モデル、ディープラーニングベースラインと比較して優れた予測性能を達成できるか？
• RQ2 提案された混合アテンションメカニズムは、時間的アテンションを超えて、入力レベルでの変数重要度を効果的に捉え、定量化できるか？
• RQ3 MV-LSTMにおける変数アテンションの事後推論は、事前分布や正規化されていないアテンション重みと比較して、より正確で明確な変数重要度順位をもたらすか？
• RQ4 実世界のデータにおいて、MV-LSTMは統計的検定（Granger因果関係テスト）によって検証された因果関係を持つ変数を正しく特定できるか？
• RQ5 真値が分かっている合成データにおいて、MV-LSTMは因果的影響を持つ変数の真の重要度を回復できるか、特に因果的影響を持つ変数について？

主な発見

• MV-LSTMはすべての実データセットで最良の予測性能を達成し、PM2.5データセットではテストRMSEが132.54 ± 0.21を記録し、すべてのベースラインを上回った。
• 合成データでは、MV-LSTMは真値と一致して変数2および3を上位寄与要因として正しく特定したが、ベースラインは正しい重要度順序を回復できなかった。
• PM2.5データセットでは、MV-LSTMが露点、累積風速、気圧を上位3位の重要変数として正しく順位付けしており、分野知識およびGranger因果関係の結果と整合的であった。
• MV-LSTMの事後アテンション機構は、関連する変数（例：露点）に注目を向ける一方で、関係の薄い変数（例：累積降雨時間）の注目を抑制し、事前分布や正規化されていないアテンションと比較して解釈可能性が向上した。
• DUALやRETAINと比較して、MV-LSTMはヒストограмのアテンション重み可視化から、より明確で意味のある変数重要度スコアを生成した。
• 変数重要度にスパース正則化に依存するcLSTMは、合成データおよび実データの両方で正しい変数を特定できず、MV-LSTMのアテンションベースの解釈可能性の優位性を示した。