[논문 리뷰] A Comparative Study of Detecting Anomalies in Time Series Data Using LSTM and TCN Models

Saroj Gopali, Faranak Abri외 2명|arXiv (Cornell University)|2021. 12. 17.

Time Series Analysis and Forecasting인용 수 10

한 줄 요약

이 연구는 SWaT 물처리 테스트베드를 사용하여 시계열 데이터에서 이상 탐지에 대해 Long Short-Term Memory (LSTM) 및 Temporal Convolutional Network (TCN) 모델을 비교한다. TCN은 F1 스코어(0.920 대 0.901)와 훈련 안정성 측면에서 LSTM을 略적으로 뛰어넘으며, 손실 진동이 적고 더 빨리 최적 성능에 도달함으로써 이상 탐지 작업에서 TCN의 효율성과 강건성을 입증한다.

ABSTRACT

There exist several data-driven approaches that enable us model time series data including traditional regression-based modeling approaches (i.e., ARIMA). Recently, deep learning techniques have been introduced and explored in the context of time series analysis and prediction. A major research question to ask is the performance of these many variations of deep learning techniques in predicting time series data. This paper compares two prominent deep learning modeling techniques. The Recurrent Neural Network (RNN)-based Long Short-Term Memory (LSTM) and the convolutional Neural Network (CNN)-based Temporal Convolutional Networks (TCN) are compared and their performance and training time are reported. According to our experimental results, both modeling techniques perform comparably having TCN-based models outperform LSTM slightly. Moreover, the CNN-based TCN model builds a stable model faster than the RNN-based LSTM models.

연구 동기 및 목표

• IoT 시스템의 시계열 데이터에서 이상 탐지에 대한 LSTM 및 TCN 모델의 성능을 평가하고 비교하는 것.
• 유사한 복잡도 하에서 두 아키텍처 간의 훈련 효율성, 모델 안정성 및 예측 정확도를 평가하는 것.
• TCN 기반 모델이 RNN 기반 LSTM 모델 대비 이상 탐지 정밀도, 재현율, F1 스코어 및 훈련 시간 측면에서 우월성을 보이는지 확인하는 것.
• 표준화된 테스트베드를 사용하여 실제 시계열 이상 탐지에서 TCN이 LSTM보다 뛰어난 이유에 대한 경험적 증거를 제공하는 것.

제안 방법

• 장기적인 시간적 의존성을 포착하기 위해 확대된 인과 컨볼루션을 사용한 3개의 리소스 블록과 3개의 히든 레이어를 갖춘 TCN 모델을 구현하였다.
• 이상 탐지를 위해 복원 오차를 사용하는 순서에서 순서로의 복원을 수행한 1개 및 3개의 히든 레이어를 갖춘 LSTM 모델을 구축하였다.
• 실제 산업 제어 시스템(ICS) 데이터와 레이블이 부여된 이상을 포함하는 SWaT 물처리 테스트베드 데이터셋을 사용해 두 모델을 훈련시켰다.
• 복원에 대해 이진 교차 엔트로피 손실을 사용하고, 테스트 세트에서 정밀도, 재현율 및 F1 스코어를 평가하여 성능을 평가하였다.
• 모델 수렴 및 안정성을 평가하기 위해 훈련 중 검증 손실을 모니터링하였으며, 진동 패턴과 수렴 속도를 비교하였다.
• 두 아키텍처 간의 모델 복잡도(파rameter 수 및 레이어 수)와 하이퍼파ram터를 동일하게 맞추어 공정한 비교를 확보하였다.

실험 결과

연구 질문

• RQ1 시계열 데이터에서 이상 탐지에 대해 TCN 및 LSTM 모델의 F1 스코어는 어떻게 비교되는가?
• RQ2 검증 손실 행동에 기반해, TCN 또는 LSTM 중 어느 모델이 더 뛰어난 훈련 안정성과 수렴 속도를 보이는가?
• RQ3 TCN 모델은 LSTM 모델 대비 최적 성능에 도달하기 위해 더 적은 훈련 에포크를 필요로 하는가?
• RQ4 정밀도, 재현율 및 F1 스코어 측면에서 TCN의 성능은 기준 모델인 GTA 모델과 비교해 어떻게 되는가?
• RQ5 시계열 이상 탐지에서 TCN 및 LSTM 아키텍처의 모델 복잡도와 성능 간의 상충 관계는 어떠한가?

주요 결과

• TCN 모델은 F1 스코어 0.920을 기록하여 3개의 히든 레이어를 갖춘 LSTM 모델(F1 = 0.901)과 1레이어 LSTM(F1 = 0.874)을 약간 뛰어넘었다.
• TCN 모델은 더 매끄럽고 일관된 검증 손실 곡선을 보이며, LSTM 모델 대비 진동이 적어 더 뛰어난 훈련 안정성을 보였다.
• TCN 모델은 더 적은 에포크 수로 최적 성능에 도달하였으며, LSTM 모델보다 이른 시점에 근사 최적의 검증 손실에 도달하여 더 빠른 수렴을 보였다.
• 모든 세 모델(TCN, 1레이어 LSTM, 3레이어 LSTM)이 정밀도 0.94 이상을 기록하여 강력한 양성 예측 능력을 보였다.
• TCN 모델은 재현율 0.903을 기록하여 1레이어 LSTM(0.819) 및 3레이어 LSTM(0.864)을 모두 뛰어넘어 실제 이상을 더 잘 탐지하는 것으로 나타났다.
• TCN 모델은 F1 스코어가 0.840 이하인 GTA 기준 모델을 크게 뛰어넘었으며, 모든 TCN 및 LSTM 모델이 이 임계값을 초과하였다.