[論文レビュー] A Memory-Network Based Solution for Multivariate Time-Series Forecasting

Yen‐Yu Chang, Fan-Yun Sun+2 more|arXiv (Cornell University)|Sep 6, 2018

Time Series Analysis and Forecasting参考文献 24被引用数 54

ひとこと要約

MTNetは、長期的なパターンと周期性を捉えるためのメモリモジュールと自己回帰成分を備えた3つのエンコーダを用いたメモリ拡張ニューラルネットワークを用いた多変量時系列予測を導入します。解釈可能なアテンションを用いて長期的なパターンを捉えます。

ABSTRACT

Multivariate time series forecasting is extensively studied throughout the years with ubiquitous applications in areas such as finance, traffic, environment, etc. Still, concerns have been raised on traditional methods for incapable of modeling complex patterns or dependencies lying in real word data. To address such concerns, various deep learning models, mainly Recurrent Neural Network (RNN) based methods, are proposed. Nevertheless, capturing extremely long-term patterns while effectively incorporating information from other variables remains a challenge for time-series forecasting. Furthermore, lack-of-explainability remains one serious drawback for deep neural network models. Inspired by Memory Network proposed for solving the question-answering task, we propose a deep learning based model named Memory Time-series network (MTNet) for time series forecasting. MTNet consists of a large memory component, three separate encoders, and an autoregressive component to train jointly. Additionally, the attention mechanism designed enable MTNet to be highly interpretable. We can easily tell which part of the historic data is referenced the most.

研究の動機と目的

• 長期的依存性と変数間相互作用に対処することによって、改善された多変量時系列予測を動機づける。
• メモリーネットワークをベースとしたモデルである MTNet を提案します。メモリモジュール、3 つのエンコーダ、自己回帰成分を備えます。
• 予測に影響を与える歴史的パターンを可視化するため、メモリセクション上のブロック単位のアテンションによって解釈性を実現します。
• 多様な単変量・多変量データセットに対して、最先端のベースラインと比較して MTNet を検証します。

提案手法

• メモリ成分は長期履歴を格納し、入力の短期表現によってアテンションされます。
• 3つの独立したエンコーダが、メモリ、入力、およびメモリ出力の埋め込みマップを生成します。
• アテンションウェイトは、入力とメモリの埋め込みベクトル間の内積によって計算され、その後出力埋め込みに適用されます。
• 自己回帰（AR）線形成分をニューラルネットワーク出力と組み合わせて最終予測を行います。
• 最終予測は、ニューラルネットワーク出力と AR 成分の和です。
• 学習には Adam 最適化法を用いた平均絶対誤差（L1 損失）を使用します。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張アーキテクチャは、RNN ベースのアプローチと比べて、長期的および周期的な依存関係を多変量時系列データでよりよく捉えることができるか？
• RQ2 周期パターンを持つデータセット全体で、過去の時刻だけでなくメモリのチャンクに対してアテンションを適用することは、予測精度と解釈性を改善するか？
• RQ3 単変量および多変量タスクの両方で、MTNet は既存のベースライン（RNN-GRU、DA-RNN、LSTNet など）と比較してどの程度の性能を示すか？

主な発見

Dataset	Horizon	AR-RSE	MTNet-RSE	AR-CORR	MTNet-CORR
Solar-Energy	3	0.2435	0.1847	0.9710	0.9840
Solar-Energy	6	0.3790	0.2398	0.9263	0.9723
Solar-Energy	12	0.5911	0.3251	0.8107	0.9462
Solar-Energy	24	0.8699	0.4285	0.5314	0.9013

• MTNet は、複数のホライズンにわたり、単変量および多変量のベンチマークで競合モデルを上回ります。
• メモリ拡張アプローチは長期的および周期的パターンの処理に優れており、DA-RNNおよびLSTNetのベースラインより精度を向上させます。
• メモリ上のブロック単位アテンションにより、どの歴史的期間が予測に最も影響するかを可視化でき、解釈性を示します。
• ニューラル成分と並列して AR の統合は、データセット全体で堅牢性を高めます。
• MTNet は Beijing PM2.5、GefCom2014 Electricity Price、Traffic、Solar-Energy、Electricity、Exchange-Rate データセットで複数のベースラインと比較して明確な改善を示します。