[论文解读] A clustering approach to time series forecasting using neural networks: A comparative study on distance-based vs. feature-based clustering methods

Manie Tadayon, Yumi Iwashita|arXiv (Cornell University)|Jan 27, 2020

Time Series Analysis and Forecasting参考文献 31被引用 7

一句话总结

本文提出了一种混合神经网络框架用于时间序列预测，整合了异常检测、数据填补和聚类——对比了基于距离的（DTW）与基于特征的聚类方法。结果表明，尽管DTW聚类在提升预测精度方面更为一致，但基于特征的聚类在速度和效率方面表现更优，且聚类整体上显著提升了基线无聚类模型的预测性能。

ABSTRACT

Time series forecasting has gained lots of attention recently; this is because many real-world phenomena can be modeled as time series. The massive volume of data and recent advancements in the processing power of the computers enable researchers to develop more sophisticated machine learning algorithms such as neural networks to forecast the time series data. In this paper, we propose various neural network architectures to forecast the time series data using the dynamic measurements; moreover, we introduce various architectures on how to combine static and dynamic measurements for forecasting. We also investigate the importance of performing techniques such as anomaly detection and clustering on forecasting accuracy. Our results indicate that clustering can improve the overall prediction time as well as improve the forecasting performance of the neural network. Furthermore, we show that feature-based clustering can outperform the distance-based clustering in terms of speed and efficiency. Finally, our results indicate that adding more predictors to forecast the target variable will not necessarily improve the forecasting accuracy.

研究动机与目标

• 通过将聚类技术与神经网络结合，提升时间序列预测的准确性。
• 评估聚类——特别是基于距离的（DTW）与基于特征的方法——对预测性能和计算效率的影响。
• 探究结合静态与动态时间序列数据是否能提升预测准确性。
• 评估增加时间序列测量数量对预测误差的影响。
• 证明异常检测和缺失数据填补等预处理步骤在提升模型可靠性方面的价值。

提出的方法

• 采用季节性趋势分解法（Loess）进行异常检测，以识别并替换时间序列数据中的异常值。
• 使用多种神经网络架构，包括基于LSTM的模型，利用动态测量进行时间序列预测。
• 通过从时间序列中提取统计特征与频谱特征实现基于特征的聚类，并与基于距离的DTW聚类进行对比。
• 通过多种架构设计将静态数据（如元数据）与动态时间序列数据结合，以提升预测性能。
• 在异常检测后应用数据填补技术，以处理缺失值，确保建模前的数据完整性。
• 使用标准指标（RMSE、MAPE、MAE）在多种配置和聚类K值（150–400）下评估模型性能。

实验结果

研究问题

• RQ1 在使用神经网络时，对时间序列数据进行聚类是否能提升预测准确性？
• RQ2 基于距离的（DTW）与基于特征的聚类方法在预测准确性和计算效率方面如何比较？
• RQ3 结合静态与动态特征是否能提升时间序列预测性能？
• RQ4 增加更多时间序列测量是否能持续降低预测误差？
• RQ5 异常检测与填补等预处理步骤在多大程度上影响预测结果？

主要发现

• 尽管在某些情况下精度略低，但基于特征的聚类在速度和时间复杂度方面优于DTW聚类。
• 聚类在所有模型中均显著提升了预测准确性，例如在K=300时，模型3的MAPE从无聚类时的38.52降至27.57。
• 增加更多时间序列测量并未持续提升预测准确性；事实上，某些组合（如第一列与第二列）导致更高的误差（MAPE高达150.38），甚至超过基线模型。
• 模型3采用DTW聚类在K=300时取得最佳MAPE（27.57），而模型1采用基于特征的聚类表现出最快的推理时间。
• 异常检测与填补的整合提升了数据质量，从而增强了聚类与预测性能。
• 没有单一神经网络架构在所有情况下均表现更优；通过交叉验证进行模型选择对获得最佳结果至关重要。