[论文解读] A Memory-Network Based Solution for Multivariate Time-Series Forecasting

Yen‐Yu Chang, Fan-Yun Sun+2 more|arXiv (Cornell University)|Sep 6, 2018

Time Series Analysis and Forecasting参考文献 24被引用 54

一句话总结

MTNet 引入一个用于多变量时间序列预测的记忆增强神经网络，使用记忆模块和三个编码器以及自回归组件来捕捉长期模式和周期性，并具备可解释的注意力。

ABSTRACT

Multivariate time series forecasting is extensively studied throughout the years with ubiquitous applications in areas such as finance, traffic, environment, etc. Still, concerns have been raised on traditional methods for incapable of modeling complex patterns or dependencies lying in real word data. To address such concerns, various deep learning models, mainly Recurrent Neural Network (RNN) based methods, are proposed. Nevertheless, capturing extremely long-term patterns while effectively incorporating information from other variables remains a challenge for time-series forecasting. Furthermore, lack-of-explainability remains one serious drawback for deep neural network models. Inspired by Memory Network proposed for solving the question-answering task, we propose a deep learning based model named Memory Time-series network (MTNet) for time series forecasting. MTNet consists of a large memory component, three separate encoders, and an autoregressive component to train jointly. Additionally, the attention mechanism designed enable MTNet to be highly interpretable. We can easily tell which part of the historic data is referenced the most.

研究动机与目标

• 通过解决长期依赖性和跨变量交互来推动改进的多变量时间序列预测。
• 提出 MTNet，一个基于记忆网络的模型，具备记忆模块、三个编码器和一个自回归组件。
• 通过对记忆分段的块级注意力实现可解释性，以揭示影响预测的历史模式。
• 在多样化的单变量和多变量数据集上对 MTNet 与最先进的基线进行对比验证。

提出的方法

• 记忆组件存储长期历史，由输入的短期表示进行注意。
• 三个独立编码器为记忆、输入和记忆输出生成嵌入映射。
• 注意力权重通过输入嵌入和记忆嵌入之间的内积计算，然后应用于输出嵌入。
• 自回归（AR）线性组件与神经网络输出结合以得到最终预测。
• 最终预测是神经网络输出与 AR 组件之和。
• 训练使用平均绝对误差（L1 损失）和 Adam 优化器。

实验结果

研究问题

• RQ1 与基于 RNN 的方法相比，记忆增强的架构是否能更好地捕捉多变量时间序列数据中的长期和周期性依赖？
• RQ2 相对于仅对过去时间戳进行关注，关注记忆块是否在具有周期模式的数据集中提升预测准确性和可解释性？
• RQ3 在单变量和多变量任务中，MTNet 相对于既有基线（RNN-GRU、DA-RNN、LSTNet 等）的表现如何？

主要发现

数据集	预测时长	AR-RSE	MTNet-RSE	AR-CORR	MTNet-CORR
Solar-Energy	3	0.2435	0.1847	0.9710	0.9840
Solar-Energy	6	0.3790	0.2398	0.9263	0.9723
Solar-Energy	12	0.5911	0.3251	0.8107	0.9462
Solar-Energy	24	0.8699	0.4285	0.5314	0.9013

• MTNet 在单变量和多变量基准的多种时间步长上均超越竞争模型。
• 记忆增强方法在处理长期和周期性模式方面具有优越性，相比 DA-RNN 和 LSTNet 基线，准确性有所提升。
• 对记忆的块级注意力使得可视化哪些历史时期最影响预测成为可能，展示了可解释性。
• 将 AR 与神经网络组件并行集成提升了对各数据集的鲁棒性。
• 在北京 PM2.5、GefCom2014 电价、Traffic、Solar-Energy、Electricity、Exchange-Rate 数据集上相对多基线显示出明显提升。