[论文解读] EA-LSTM: Evolutionary Attention-based LSTM for Time Series Prediction

Youru Li, Zhenfeng Zhu+3 more|arXiv (Cornell University)|Nov 9, 2018

Time Series Analysis and Forecasting参考文献 22被引用 23

一句话总结

该论文提出EA-LSTM，一种通过竞争性随机搜索（CRS）训练的基于进化注意力的LSTM模型，以提升多变量时间序列预测性能。通过使用CRS而非梯度下降来演化注意力权重，该模型有效捕捉了长期依赖关系和局部特征关系，在SML 2010和MSR Action3D等基准数据集上实现了最先进性能。

ABSTRACT

Time series prediction with deep learning methods, especially long short-term memory neural networks (LSTMs), have scored significant achievements in recent years. Despite the fact that the LSTMs can help to capture long-term dependencies, its ability to pay different degree of attention on sub-window feature within multiple time-steps is insufficient. To address this issue, an evolutionary attention-based LSTM training with competitive random search is proposed for multivariate time series prediction. By transferring shared parameters, an evolutionary attention learning approach is introduced to the LSTMs model. Thus, like that for biological evolution, the pattern for importance-based attention sampling can be confirmed during temporal relationship mining. To refrain from being trapped into partial optimization like traditional gradient-based methods, an evolutionary computation inspired competitive random search method is proposed, which can well configure the parameters in the attention layer. Experimental results have illustrated that the proposed model can achieve competetive prediction performance compared with other baseline methods.

研究动机与目标

• 解决标准LSTM在长序列中动态关注相关时间步特征的局限性。
• 克服基于梯度的优化方法在训练注意力层时陷入局部极小值的风险。
• 通过演化反映时间重要性模式的注意力权重，提升多变量时间序列预测性能。
• 证明训练方法——特别是进化计算——可超越网络架构复杂度，提升基于注意力的深度学习模型性能。
• 验证进化计算在深度神经网络子结构训练中的有效性，适用于序列数据。

提出的方法

• 在LSTM中引入一种进化注意力机制，其中注意力权重通过演化而非反向传播训练。
• 采用竞争性随机搜索（CRS），一种进化计算方法，优化注意力层参数，无需依赖梯度。
• 在时间步之间共享参数，以实现在序列中一致的注意力学习。
• 将注意力权重向量编码为二进制表示，以支持选择和变异等进化操作。
• 使用循环式进化过程：通过网络性能评估候选注意力权重，选择表现最佳者（冠军），并通过重组和变异生成新世代。
• 将演化后的注意力权重集成到LSTM架构中，生成加权输入表示后再进行序列建模。

实验结果

研究问题

• RQ1 与基于梯度的优化相比，进化计算是否能提升LSTM中注意力机制的训练性能？
• RQ2 演化注意力权重是否能更有效地捕捉多变量时间序列中的长期和局部时间依赖关系？
• RQ3 EA-LSTM在预测精度上与DA-RNN和标准注意力-LSTM等最先进模型相比如何？
• RQ4 所提出方法能否在不同时间序列任务（包括回归和分类）中实现泛化？
• RQ5 竞争性随机搜索方法在注意力层参数优化过程中是否能有效避免局部最优？

主要发现

• 在MSR Action3D数据集上，EA-LSTM的测试准确率达到95.20%，优于基线LSTM（90.67%）和注意力-LSTM（92.58%）。
• 在SML 2010基准数据集上，EA-LSTM的预测精度高于DA-RNN这一最先进注意力模型。
• 消融实验表明，若在注意力层中用梯度下降替代CRS（即构建注意力-LSTM），性能显著下降，证明了进化优化的优势。
• 时间步上的注意力分布显示出自适应的软特征选择，对信息量大的特征赋予更高注意力，具体取决于输入动态。
• 该模型在多个数据集上均表现出具有竞争力的性能，证实其在回归和分类时间序列任务中的鲁棒性。
• 结果表明，通过改进训练方法——尤其是采用进化计算——可与增加网络架构复杂度同样有效地提升基于注意力的模型性能。