[论文解读] Hierarchical Attention-Based Recurrent Highway Networks for Time Series Prediction

Yunzhe Tao, Lin Ma+4 more|arXiv (Cornell University)|Jun 2, 2018

Time Series Analysis and Forecasting参考文献 23被引用 22

一句话总结

本文提出了一种基于层次注意力的循环高速公路网络（HRHN），这是一种端到端的深度学习模型，通过卷积神经网络（ConvNet）和循环高速公路网络（RHN）整合外生变量的时空特征提取与目标变量的时间动态建模，并利用层次注意力机制自适应地选择跨语义层级的相关特征。HRHN在时间序列预测中优于最先进方法，尤其在捕捉突变和振荡方面表现优异。

ABSTRACT

Time series prediction has been studied in a variety of domains. However, it is still challenging to predict future series given historical observations and past exogenous data. Existing methods either fail to consider the interactions among different components of exogenous variables which may affect the prediction accuracy, or cannot model the correlations between exogenous data and target data. Besides, the inherent temporal dynamics of exogenous data are also related to the target series prediction, and thus should be considered as well. To address these issues, we propose an end-to-end deep learning model, i.e., Hierarchical attention-based Recurrent Highway Network (HRHN), which incorporates spatio-temporal feature extraction of exogenous variables and temporal dynamics modeling of target variables into a single framework. Moreover, by introducing the hierarchical attention mechanism, HRHN can adaptively select the relevant exogenous features in different semantic levels. We carry out comprehensive empirical evaluations with various methods over several datasets, and show that HRHN outperforms the state of the arts in time series prediction, especially in capturing sudden changes and sudden oscillations of time series.

研究动机与目标

• 解决现有时间序列模型在建模外生变量之间相互作用及其时间动态方面的局限性。
• 通过捕捉外生数据与目标序列之间的复杂相关性，尤其是突变或振荡期间的相关性，提升预测准确性。
• 构建一个统一框架，同时建模外生组件之间的空间关系与长期时间依赖性。
• 仅使用过去外生数据和历史观测值，实现可靠的未来预测，无需未来外生输入。
• 设计一种层次注意力机制，以跨多个语义层级选择相关特征。

提出的方法

• 使用卷积神经网络（ConvNet）在每个时间步提取外生变量各组成部分之间的空间相关性。
• 采用循环高速公路网络（RHN）对目标序列和外生序列的时间动态进行建模，通过残差连接实现深层、分层表示。
• 在RHN编码器的多个层级上应用层次注意力机制，以动态选择对预测最相关的时空特征。
• 采用编码器-解码器架构，端到端地处理历史观测值和过去外生数据，生成未来时间序列预测。
• 使用标准的序列到序列损失函数进行端到端训练，注意力权重基于RHN中间隐藏状态计算。
• 通过改变输入窗口大小和循环深度，评估参数敏感性，结果表明模型在各种配置下均具有鲁棒性。

实验结果

研究问题

• RQ1 深度神经网络能否有效建模具有外生输入的多变量时间序列中的空间与时间依赖性？
• RQ2 层次注意力机制是否通过选择性关注外生数据和目标数据的语义层级表示，提升预测性能？
• RQ3 所提出的模型能否优于现有最先进方法，特别是在预测时间序列中的突变和振荡方面？
• RQ4 模型性能对超参数（如输入窗口大小和循环深度）的敏感性如何？
• RQ5 该模型能否在具有不同特征和噪声水平的多样化时间序列数据集上实现良好泛化？

主要发现

• HRHN在所有指标和数据集上均优于DA-RNN和单个RHN，且在RMSE、MAE和MAPE上具有统计显著性提升。
• RHN + ConvNet变体始终优于DA-RNN和单个RHN，证明了建模外生组件之间空间相互作用的价值。
• 层次注意力机制在RHN和RHN + ConvNet基础上进一步提升性能，证实其在跨语义层级选择信息特征方面的有效性。
• 模型表现出高度鲁棒性，不同窗口大小和循环深度下的性能波动小于2%，表明其泛化能力稳定。
• HRHN在捕捉时间序列中的突变和振荡方面尤为有效，这是相较于现有方法的关键优势。
• 消融实验确认RHN的中间层包含有用信息，且层次注意力机制成功利用这些信息以提升预测性能。