[论文解读] A Spatial-Temporal Decomposition Based Deep Neural Network for Time Series Forecasting

Reza Asadi, Amelia Regan|arXiv (Cornell University)|Feb 2, 2019

Traffic Prediction and Management Techniques参考文献 47被引用 6

一句话总结

本文提出了一种基于时空分解的深度神经网络（C-CNN-LSTM-DA），用于大规模时间序列预测，尤其在交通流预测中表现优异。该方法利用模糊聚类与多核卷积对时间序列进行分解，提取短期、长期及空间模式；结合卷积-LSTM模块捕捉长期依赖关系；并引入预训练去噪自编码器以增强对缺失数据的鲁棒性，在准确性和抗缺失数据能力方面优于当前最先进模型。

ABSTRACT

Spatial time series forecasting problems arise in a broad range of applications, such as environmental and transportation problems. These problems are challenging because of the existence of specific spatial, short-term and long-term patterns, and the curse of dimensionality. In this paper, we propose a deep neural network framework for large-scale spatial time series forecasting problems. We explicitly designed the neural network architecture for capturing various types of patterns. In preprocessing, a time series decomposition method is applied to separately feed short-term, long-term and spatial patterns into different components of a neural network. A fuzzy clustering method finds cluster of neighboring time series based on similarity of time series residuals; as they can be meaningful short-term patterns for spatial time series. In neural network architecture, each kernel of a multi-kernel convolution layer is applied to a cluster of time series to extract short-term features in neighboring areas. The output of convolution layer is concatenated by trends and followed by convolution-LSTM layer to capture long-term patterns in larger regional areas. To make a robust prediction when faced with missing data, an unsupervised pretrained denoising autoencoder reconstructs the output of the model in a fine-tuning step. The experimental results illustrate the model outperforms baseline and state of the art models in a traffic flow prediction dataset.

研究动机与目标

• 为应对大规模时空时间序列预测中的挑战，特别是在交通流预测中，空间依赖性、短期与长期模式以及缺失数据使建模复杂化。
• 通过时间序列分解与残差的模糊聚类，显式地将时间序列分解为短期、长期和空间模式三类分量。
• 设计一种神经网络架构，分别处理这些分量：使用多核卷积捕捉局部空间模式，使用卷积-LSTM建模区域性的长期趋势。
• 通过在微调阶段引入预训练的去噪自编码器，提升模型在缺失数据条件下的鲁棒性。
• 在真实世界交通流预测中，于正常与缺失数据条件下，均证明该模型在准确性和鲁棒性方面优于基线模型与当前最先进模型。

提出的方法

• 时间序列分解将原始数据分离为趋势、季节性和残差分量，其中残差用于识别具有空间相关性的短期模式。
• 对时间序列残差应用模糊c均值聚类，将具有相似残差模式的相邻传感器聚类，形成用于局部模式学习的簇。
• 多核卷积层独立处理每个簇，其中每个卷积核仅作用于簇内的时间步，从而保留空间结构并捕捉局部短期动态。
• 多核卷积的输出与趋势分量拼接后输入卷积-LSTM层，以建模更大空间区域内的长期依赖关系。
• 去噪自编码器在模型输出上进行预训练，并通过端到端微调以重建原始信号，从而增强对缺失数据和噪声的鲁棒性。
• 最终模型C-CNN-LSTM-DA整合了所有组件：分解、聚类、多核CNN、卷积-LSTM与去噪自编码器，实现鲁棒且精确的预测。

实验结果

研究问题

• RQ1 将时间序列显式分解为短期、长期与空间模式，是否能提升大规模时空系统中的预测准确性？
• RQ2 如何利用时间序列残差而非原始数据，有效建模相邻传感器之间的空间依赖性？
• RQ3 在具有网络结构的数据上，使用每个空间簇的多核卷积层是否优于标准卷积层？
• RQ4 预训练的去噪自编码器在交通流预测中面对缺失数据时，能在多大程度上提升模型鲁棒性？
• RQ5 在数据污染或缺失值情况下，该模型与当前最先进深度学习模型相比，在准确性和鲁棒性方面表现如何？

主要发现

• 在随机生成缺失值的测试数据上，C-CNN-LSTM-DA模型在30分钟预测中的平均绝对误差（MAE）为13.1，均方根误差（RMSE）为23.9，优于LSTM（MAE: 16.7，RMSE: 28.8）与CNN-LSTM（MAE: 16.5，RMSE: 28.9）。
• 在高峰时段，该模型将残差MAE降低至8.2，显著优于LSTM（11.1）与MLP（12.2），表明其在高波动性条件下的优越性能。
• 在非高峰时段，模型保持稳定性能，残差MAE为4.4，与LSTM（4.3）相当，表明其在不同交通状况下具备强大的泛化能力。
• 去噪自编码器组件有效减缓了因缺失数据导致的预测误差增长，如图11所示，C-CNN-LSTM-DA的误差增长速度慢于其他模型。
• 对时间序列残差进行模糊聚类揭示了有意义的空间模式，验证了残差作为局部空间相互作用指标而非噪声的有效性。
• 通过聚类实现的空间分解与各分量专用神经模块的集成，显著提升了标准深度学习基线模型在准确性和鲁棒性方面的表现。