[논문 리뷰] LSTM-based Anomaly Detection for Non-linear Dynamical System

Yue Tan, Chunjing Hu외 4명|arXiv (Cornell University)|2020. 06. 05.

Anomaly Detection Techniques and Applications참고 문헌 30인용 수 4

한 줄 요약

이 논문은 비선형 동역계 시스템을 위한 LSTM 기반 이상 탐지 프레임워크를 제안하며, 다단계 예측과 새로운 국소 평균 및 적응형 파rameter(이하 LAAP) 알고리즘을 활용해 벽면 마찰응력 시계열에서 이상을 탐지한다. 기존 ARIMA 및 절대값 기반 방법과 비교해 예측 정확도가 높고 이상 탐지 성능이 뛰어나며, 특히 시스템 불안정성의 조기 경고에서 유의미한 성능을 보인다.

ABSTRACT

Anomaly detection for non-linear dynamical system plays an important role in ensuring the system stability. However, it is usually complex and has to be solved by large-scale simulation which requires extensive computing resources. In this paper, we propose a novel anomaly detection scheme in non-linear dynamical system based on Long Short-Term Memory (LSTM) to capture complex temporal changes of the time sequence and make multi-step predictions. Specifically, we first present the framework of LSTM-based anomaly detection in non-linear dynamical system, including data preprocessing, multi-step prediction and anomaly detection. According to the prediction requirement, two types of training modes are explored in multi-step prediction, where samples in a wall shear stress dataset are collected by an adaptive sliding window. On the basis of the multi-step prediction result, a Local Average with Adaptive Parameters (LAAP) algorithm is proposed to extract local numerical features of the time sequence and estimate the upcoming anomaly. The experimental results show that our proposed multi-step prediction method can achieve a higher prediction accuracy than traditional method in wall shear stress dataset, and the LAAP algorithm performs better than the absolute value-based method in anomaly detection task.

연구 동기 및 목표

• 기존 시뮬레이션 방법이 계산적으로 비효율적인 복잡한 비선형 동역계 시스템에서 이상을 탐지하는 데 도전하는 것.
• 이러한 시스템의 시계열 데이터에서 조기 이상 탐지를 위한 자동화된 딥러닝 기반 접근법을 개발하는 것.
• LSTM 네트워크를 활용해 다중 시간단위에 걸친 벽면 마찰응력 예측 정확도를 향상시키는 것.
• 잠재적인 시스템 고장을 사전에 식별할 수 있는 효과적인 이상 탐지 알고리즘을 설계하는 것.

제안 방법

• LSTM 모델 훈련을 위해 벽면 마찰응력 시계열에서 순차적 샘플을 추출하기 위해 슬라이딩 윈도우 기법을 활용한다.
• 다중층 LSTM 네트워크를 훈련시켜 다양한 시간단위(1~10단계)에 걸쳐 향후 벽면 마찰응력 값을 다단계로 예측한다.
• 예측 시퀀스의 국소 수치적 특징을 분석하여 이상을 탐지하기 위해 국소 평균 및 적응형 파ram터(LAAP) 알고리즘을 구현한다.
• 예측 값의 이탈을 기반으로 향후 이상을 추정하며, 국소 역학에 맞게 조정된 임계값을 활용한다.
• ARIMA 및 절대값 기반 이상 탐지 방법과의 예측 및 이상 탐지 성능을 비교한다.
• 예측 정확도 및 이상 발생 시점 정밀도 측정을 위해 RMSE 및 오차 분포 지표를 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 비선형 동역계 시스템에서 벽면 마찰응력 예측에 있어 LSTM 기반 다단계 예측이 기존 ARIMA 모델보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 기본 절대값 기반 방법과 비교해 제안된 LAAP 알고리즘이 이상 탐지에 얼마나 효과적인가?
• RQ3 예측 수평선이 길어질수록 LSTM의 예측 정확도가 얼마나 떨어지는가?
• RQ4 LAAP 알고리즘이 예측된 이상 발생 시점과 실제 발생 시점 간 오차를 줄여, 이상 경고의 정밀도를 향상시킬 수 있는가?

주요 결과

• 단일 예측 시점에서 LSTM 기반 다단계 예측은 존 4에서 0.9991, 존 1에서 0.9909의 예측 정확도를 기록하였으며, 예측 수평선이 길어질수록 점차 감소하는 경향을 보였다.
• 10단계 예측에서는 존 1에서 0.9346, 존 4에서 0.9713의 예측 정확도를 유지하여 장기 수평선에서도 뛰어난 안정성을 입증하였다.
• 2단계 이후 예측 시간단위에서 LSTM 모델의 RMSE가 ARIMA보다 일관되게 낮게 유지되어, 우수한 예측 성능을 입증하였다.
• LAAP 알고리즘은 절대값 기반 방법보다 이상 탐지 오차가 0인 경우가 20회 이상 발생한 반면, 절대값 기반 방법은 14회에 그쳤으며, 이는 탐지 정밀도 향상을 시사한다.
• LAAP의 오차 범위는 약 -130에서 5로 좁았고, 절대값 기반 방법은 약 -175에서 75로 더 넓어, 이상 탐지 시점 정밀도가 뛰어나다는 것을 보여주었다.
• LAAP 알고리즘은 이상 발생 정확 시점 도달 빈도와 전체 오차 분포 측면에서 절대값 기반 방법을 모두 초월하여, 조기 이상 탐지에 효과적임을 확인하였다.