[论文解读] Comparison of Deep learning models on time series forecasting : a case study of Dissolved Oxygen Prediction

Hongqian Qin|arXiv (Cornell University)|Nov 17, 2019

Hydrological Forecasting Using AI参考文献 47被引用 19

一句话总结

本研究使用2012–2016年长江高频率实时数据，对比了多种多步深度学习模型——LSTM、GRU、BiRNN、TCN和CNN——在预测溶解氧（DO）水平方面的表现。采用向前滚动验证方法，GRU在所有时间步长的RMSE、MAE和R²指标上均优于其他模型，预测精度在2.5–4小时后呈现非线性下降。

ABSTRACT

Deep learning has achieved impressive prediction performance in the field of sequence learning recently. Dissolved oxygen prediction, as a kind of time-series forecasting, is suitable for this technique. Although many researchers have developed hybrid models or variant models based on deep learning techniques, there is no comprehensive and sound comparison among the deep learning models in this field currently. Plus, most previous studies focused on one-step forecasting by using a small data set. As the convenient access to high-frequency data, this paper compares multi-step deep learning forecasting by using walk-forward validation. Specifically, we test Convolutional Neural Network (CNN), Temporal Convolutional Network (TCN), Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), Bidirectional Recurrent Neural Network (BiRNN) based on the real-time data recorded automatically at a fixed observation point in the Yangtze River from 2012 to 2016. By comparing the average accumulated statistical metrics of root mean square error (RMSE), mean absolute error (MAE), and coefficient of determination in each time step, We find for multi-step time series forecasting, the average performance of each time step does not decrease linearly. GRU outperforms other models with significant advantages.

研究动机与目标

• 对河流溶解氧（DO）多步时间序列预测中的深度学习模型进行全面且公平的比较。
• 利用2012–2016年真实高频率DO数据，通过向前滚动验证评估模型性能。
• 探究预测精度是否随时间步长线性下降，或表现出非线性衰减。
• 识别在真实世界数据条件下，针对单变量DO预测最具鲁棒性的深度学习架构。

提出的方法

• 采用扩展窗口的向前滚动验证方法，模拟实时预测，使用5小时历史DO数据预测未来5小时。
• 在相同数据集和实验设置下，对五种深度学习模型（CNN、TCN、LSTM、GRU和BiRNN）进行训练与评估。
• 使用均方根误差（RMSE）、平均绝对误差（MAE）和决定系数（R²）作为主要评估指标。
• 对数据进行预处理以去除零值，并解决数据质量问题，但极端异常值仍未能解决。
• 通过经验调参优化超参数，选择较大的批量大小、较小的单元数和滤波器数量，以提升训练速度。
• 计算所有时间步长（1至10）的平均性能指标，以评估多步预测的可靠性。

实验结果

研究问题

• RQ1 哪种深度学习模型在实时河流监测中实现最高精度的多步溶解氧预测？
• RQ2 预测性能如何随时间步长变化？衰减是线性还是非线性？
• RQ3 GRU是否在捕捉DO时间序列中的长期依赖关系方面优于LSTM及其他RNN变体？
• RQ4 不同架构（CNN、TCN、RNNs）在处理高频率、非平稳水质数据方面表现如何？

主要发现

• GRU在所有时间步长上均实现了最低的平均RMSE和MAE，以及最高的平均R²，表明其整体性能最优。
• LSTM的RMSE和MAE最高，R²最低，是六种测试模型中精度最低的。
• 所有模型的预测精度均呈非线性下降，性能在2.5小时和4小时时间步后出现急剧下降。
• 性能衰减并非均匀，表明误差率在特定时间阈值后会突然上升，尤其在2.5小时后更为显著。
• 结果在不同超参数配置下均保持稳健，表明模型排名具有一致性，不受调参选择影响。
• 尽管存在极端值和测量误差等数据质量问题，深度学习模型（尤其是GRU）在处理噪声大、真实世界的时间序列时仍表现出较强鲁棒性。