[论文解读] DeepTrend: A Deep Hierarchical Neural Network for Traffic Flow Prediction

Xingyuan Dai, Rui Fu+3 more|arXiv (Cornell University)|Jul 11, 2017

Traffic Prediction and Management Techniques参考文献 11被引用 46

一句话总结

DeepTrend 提出了一种深度分层神经网络，通过两层架构显式建模随时间变化的交通流趋势：一层用于趋势学习，另一层基于LSTM进行预测。该模型优于标准LSTM和去趋势化基线模型，5分钟预测的均方误差（MSE）为984.47，平均绝对误差（MAE）为21.21，表明其在捕捉交通流时间模式方面表现更优。

ABSTRACT

In this paper, we consider the temporal pattern in traffic flow time series, and implement a deep learning model for traffic flow prediction. Detrending based methods decompose original flow series into trend and residual series, in which trend describes the fixed temporal pattern in traffic flow and residual series is used for prediction. Inspired by the detrending method, we propose DeepTrend, a deep hierarchical neural network used for traffic flow prediction which considers and extracts the time-variant trend. DeepTrend has two stacked layers: extraction layer and prediction layer. Extraction layer, a fully connected layer, is used to extract the time-variant trend in traffic flow by feeding the original flow series concatenated with corresponding simple average trend series. Prediction layer, an LSTM layer, is used to make flow prediction by feeding the obtained trend from the output of extraction layer and calculated residual series. To make the model more effective, DeepTrend needs first pre-trained layer-by-layer and then fine-tuned in the entire network. Experiments show that DeepTrend can noticeably boost the prediction performance compared with some traditional prediction models and LSTM with detrending based methods.

研究动机与目标

• 解决标准LSTM在捕捉交通流时间序列中固有时间模式方面的局限性。
• 通过显式建模和学习交通流数据中的时变趋势，提高预测精度。
• 设计一种深度分层架构，将趋势提取与流量预测分离，以提升性能。
• 验证预训练和微调是否能提升交通流预测中模型的泛化能力。
• 证明整合趋势建模可带来优于原始数据或基础去趋势化方法的性能提升。

提出的方法

• 该模型采用两层架构：全连接的提取层，用于从原始流量序列与简单平均趋势序列的拼接中学习时变趋势。
• 预测层为一个128个单元的LSTM网络，输入为提取的趋势序列和残差序列，用于预测未来交通流。
• 网络分两个阶段训练：首先，使用类似自编码器的目标逐层预训练提取层；随后，对整个网络进行端到端微调。
• 残差序列通过原始流量与提取趋势的差值得到，并与趋势输出一并输入预测层。
• 两层均使用ReLU激活函数，优化器采用Adam，学习率分别为0.001（预训练）、0.005（预训练）和0.00002（微调）。
• 该架构使用Keras实现，TensorFlow为后端，并与ARIMA、MVLR、SVR、RF及标准LSTM模型进行比较。

实验结果

研究问题

• RQ1 像LSTM这样的深度神经网络能否在不进行显式趋势建模的情况下，有效学习原始交通流时间序列中的时间模式？
• RQ2 与在原始数据上训练的标准LSTM相比，集成专用趋势提取模块是否能提升预测性能？
• RQ3 一种将趋势学习与流量预测分离的分层深度学习架构，与去趋势化基线模型相比表现如何？
• RQ4 预训练和微调在多大程度上能提升深度交通流预测模型的性能？
• RQ5 通过建模时变趋势，是否能显著改善短期交通流预测的MSE和MAE指标？

主要发现

• 当在原始交通流数据上训练时，标准LSTM的表现与SVR等传统模型相当，表明其在缺乏前期分解的情况下无法有效捕捉主导时间模式。
• 去趋势化模型显著优于在原始数据上训练的模型，证实了趋势分离在交通流预测中的重要性。
• DeepTrend在5分钟预测中实现了984.47的均方误差（MSE）和21.21的平均绝对误差（MAE），为所有评估模型中的最低值。
• 累积分布函数（CDF）分析显示，DeepTrend在50个测试站点中的绝大多数站点，MSE和MAE指标均优于其他所有模型。
• 两阶段训练（先预训练后微调）对于有效特征学习和提升泛化能力至关重要。
• 通过专用提取层整合时变趋势学习，相比标准LSTM和去趋势化方法，带来了可测量的性能提升。