[论文解读] Time Series Forecasting with Stacked Long Short-Term Memory Networks

Frank Xiao|arXiv (Cornell University)|Nov 2, 2020

Traffic Prediction and Management Techniques参考文献 8被引用 5

一句话总结

本文提出一种堆叠长短期记忆（LSTM）网络，用于多伦多市中心区域的短期交通流量预测，利用深度学习建模复杂的时间依赖关系。通过使用堆叠LSTM层、dropout、梯度裁剪和早停技术，该模型显著优于前馈基线模型，将MAE降低50.9%，RMSE降低25.3%。

ABSTRACT

Long Short-Term Memory (LSTM) networks are often used to capture temporal dependency patterns. By stacking multi-layer LSTM networks, it can capture even more complex patterns. This paper explores the effectiveness of applying stacked LSTM networks in the time series prediction domain, specifically, the traffic volume forecasting. Being able to predict traffic volume more accurately can result in better planning, thus greatly reduce the operation cost and improve overall efficiency.

研究动机与目标

• 通过深度学习模型提高短期交通流量预测的准确性。
• 评估堆叠LSTM网络在捕捉真实交通数据中复杂时间依赖关系方面的有效性。
• 通过正则化和优化技术提升模型的泛化能力和训练稳定性。
• 将堆叠LSTM的性能与标准前馈神经网络基线模型进行比较。
• 展示深度学习在城市交通规划与成本降低方面的实际应用价值。

提出的方法

• 该模型采用多层堆叠LSTM架构，以学习序列交通数据中的长期和短期时间模式。
• 每个LSTM层使用带有输入门、遗忘门和输出门的细胞状态，以缓解梯度消失和梯度爆炸问题。
• 最后一层为带有线性激活函数的全连接层，用于预测下一个时间步的交通流量。
• 训练过程中应用dropout以正则化网络并防止过拟合。
• 使用梯度裁剪控制梯度爆炸问题，通过监控验证损失应用早停策略以防止过拟合。
• 模型采用自适应学习率进行训练，并使用来自15分钟交通流量区间的归一化输入数据。

实验结果

研究问题

• RQ1 堆叠LSTM网络能否有效建模真实交通流量数据中的短期时间依赖关系？
• RQ2 在交通预测中，堆叠LSTM的性能与标准前馈神经网络相比如何？
• RQ3 正则化技术（如dropout和梯度裁剪）在多大程度上提升了训练稳定性和模型泛化能力？
• RQ4 早停策略是否能有效防止过拟合并优化最小验证误差？
• RQ5 像堆叠LSTM这样的深度学习模型能否降低城市交通系统中的预测误差？

主要发现

• 堆叠LSTM模型的平均绝对误差（MAE）为0.1951，相比基线模型的MAE 0.3976降低了50.9%。
• 堆叠LSTM模型的均方根误差（RMSE）从基线的0.3003降低至0.2241，表明预测精度提高了25.3%。
• 堆叠LSTM模型的训练损失持续下降并收敛至低于基线的更低值，表明其优化能力和学习能力更优。
• 堆叠LSTM模型的验证损失在经过一定训练轮次后开始上升，证实了应用早停策略以避免过拟合的必要性。
• dropout、梯度裁剪和早停技术的结合显著提升了模型在训练过程中的泛化能力和稳定性。
• 与前馈基线模型相比，堆叠LSTM模型在捕捉交通流量数据中复杂时间模式方面表现出更强的能力。