[论文解读] A Comparative Study of Detecting Anomalies in Time Series Data Using LSTM and TCN Models

Saroj Gopali, Faranak Abri+2 more|arXiv (Cornell University)|Dec 17, 2021

Time Series Analysis and Forecasting被引用 10

一句话总结

本研究比较了长短期记忆网络（LSTM）与时间卷积网络（TCN）在SWaT水处理测试平台时间序列数据异常检测中的表现。TCN在F1分数（0.920 vs. 0.901）和训练稳定性方面略胜LSTM，以更少的损失振荡更快达到最优性能，表明TCN在异常检测任务中具有更高的效率与鲁棒性。

ABSTRACT

There exist several data-driven approaches that enable us model time series data including traditional regression-based modeling approaches (i.e., ARIMA). Recently, deep learning techniques have been introduced and explored in the context of time series analysis and prediction. A major research question to ask is the performance of these many variations of deep learning techniques in predicting time series data. This paper compares two prominent deep learning modeling techniques. The Recurrent Neural Network (RNN)-based Long Short-Term Memory (LSTM) and the convolutional Neural Network (CNN)-based Temporal Convolutional Networks (TCN) are compared and their performance and training time are reported. According to our experimental results, both modeling techniques perform comparably having TCN-based models outperform LSTM slightly. Moreover, the CNN-based TCN model builds a stable model faster than the RNN-based LSTM models.

研究动机与目标

• 评估并比较LSTM与TCN模型在物联网系统时间序列数据异常检测中的性能。
• 在模型复杂度相当的前提下，评估两种架构的训练效率、模型稳定性和预测精度。
• 确定基于TCN的模型是否在异常检测的精确率、召回率、F1分数和训练时间方面优于基于RNN的LSTM模型。
• 基于标准化测试平台，为TCN优于LSTM在真实世界时间序列异常检测中的表现提供实证依据。

提出的方法

• 采用三个残差块和三个隐藏层构建TCN模型，利用空洞因果卷积捕捉长程时间依赖关系。
• 构建包含一层和三层隐藏层的LSTM模型，通过序列到序列重构实现基于重构误差的异常检测。
• 在SWaT水处理测试平台数据集上训练两种模型，该数据集包含带有异常标签的真实工业控制系统（ICS）数据。
• 使用二元交叉熵损失进行重构，并在测试集上通过精确率、召回率和F1分数评估性能。
• 监控训练过程中的验证损失，以评估模型收敛性和稳定性，比较损失振荡模式与收敛速度。
• 通过匹配模型复杂度（参数数量与层数）和超参数，确保两种架构之间的公平比较。

实验结果

研究问题

• RQ1 TCN与LSTM模型在时间序列数据异常检测的F1分数方面有何差异？
• RQ2 基于验证损失行为，TCN与LSTM中哪一模型具有更好的训练稳定性和收敛速度？
• RQ3 TCN模型是否比LSTM模型需要更少的训练轮次即可达到最优性能？
• RQ4 TCN模型在精确率、召回率和F1分数方面与基线GTA模型相比表现如何？
• RQ5 在时间序列异常检测中，TCN与LSTM架构的模型复杂度与性能之间存在何种权衡？

主要发现

• TCN模型取得0.920的F1分数，略高于三层隐藏层的LSTM模型（F1 = 0.901）和单层LSTM模型（F1 = 0.874）。
• TCN模型展现出更优的训练稳定性，其验证损失曲线更平滑且一致，振荡程度低于LSTM模型。
• TCN模型在更少的训练轮次内达到最优性能，较LSTM模型更早实现接近最优的验证损失，表明收敛速度更快。
• 所有三种模型（TCN、单层LSTM、三层LSTM）的精确率均超过0.94，表明其具有强大的正向预测能力。
• TCN模型的召回率为0.903，优于两种LSTM变体（单层为0.819，三层为0.864），表明其对实际异常的检测能力更强。
• TCN模型显著优于GTA基线模型，后者F1分数低于0.840，而所有TCN与LSTM模型均超过该阈值。