[논문 리뷰] An LSTM-Based Predictive Monitoring Method for Data with Time-varying Variability

Jiaqi Qiu, Yu Lin외 1명|arXiv (Cornell University)|2023. 09. 05.

Fault Detection and Control SystemsEngineering인용 수 3

한 줄 요약

이 논문은 시간에 따라 변화하는 변동성을 가진 시계열 데이터에서 이상치를 탐지하기 위해 명시적으로 모델링된 데이터 불확실성을 갖춘 예측 구간을 사용하는 LSTM 기반 예측 모니터링 방법을 제안한다. 레이블이 없는 데이터로 훈련하고 동적 분산을 정량화함으로써, 비정상적인 노이즈 조건에서 기존의 신경망 기반 접근법보다 평균 이동 탐지에서 뛰어난 성능을 발휘한다.

ABSTRACT

The recurrent neural network and its variants have shown great success in processing sequences in recent years. However, this deep neural network has not aroused much attention in anomaly detection through predictively process monitoring. Furthermore, the traditional statistic models work on assumptions and hypothesis tests, while neural network (NN) models do not need that many assumptions. This flexibility enables NN models to work efficiently on data with time-varying variability, a common inherent aspect of data in practice. This paper explores the ability of the recurrent neural network structure to monitor processes and proposes a control chart based on long short-term memory (LSTM) prediction intervals for data with time-varying variability. The simulation studies provide empirical evidence that the proposed model outperforms other NN-based predictive monitoring methods for mean shift detection. The proposed method is also applied to time series sensor data, which confirms that the proposed method is an effective technique for detecting abnormalities.

연구 동기 및 목표

• 기존 제어도표 및 통계 모델이 엄격한 정상성 가정을 요구함으로써 시간에 따라 변화하는 변동성을 가진 센서 데이터에서의 이상 탐지 문제를 해결한다.
• 딥 러닝 기반 이상 탐지에서 레이블이 필요한 문제를 해결하기 위해, 다음 단계 예측을 지도 신호로 사용하여 레이블이 없는 시계열 데이터로 직접 LSTM 모델을 훈련한다.
• 실시간 예측 모니터링 프레임워크를 개발하여 데이터 불확실성을 명시적으로 모델링함으로써 변화하는 노이즈 수준에 적응하고, 동적인 환경에서의 탐지 강건성을 향상시킨다.
• 모의 데이터와 실제 센서 데이터 모두에서 방법의 효과성을 검증하며, 특히 레이블이 없거나 신뢰할 수 없는 상황에서의 적용 가능성을 입증한다.
• 기존의 신경망 기반 모니터링 방법보다 비정상적인 변동성 조건에서 평균 이동 탐지 성능이 뛰어나다는 것을 입증한다.

제안 방법

• 과거 관측값의 시퀀스를 입력으로 사용하여 다음 시간 단계 값을 예측하는 단변량 LSTM 모델을 훈련함으로써 이상 탐지에 필요한 레이블이 필요 없도록 한다.
• 예측 오차의 분산을 모델링하여 예측 구간을 추정하는 데이터 불확실성 정량화 모듈을 도입함으로써, 적응형 탐지 임계값을 가능하게 한다.
• LSTM가 예측한 평균과 예측 구간의 경계를 기반으로 제어도표를 구성하며, 관측값이 구간 외부에 위치할 경우 이상 신호를 발생시킨다.
• 이차 헤드 또는 보조 출력을 통해 별도로 분산을 모델링함으로써 시간에 따라 변화하는 노이즈 특성을 포착하고, 이방성에 대한 강건성을 향상시킨다.
• 실제 진동 및 엘리베이터 센서 데이터에 대해 방법을 적용하여, 레이블이 없고 비정상적인 데이터에서 산업 모니터링 환경에서의 적용 가능성을 입증한다.
• CED(누적 오차 거리), DR(탐지율), 재현율 등 성능 평가 지표를 사용하여 성능을 비교하고, 불확실성 모델링의 영향을 분리하기 위한 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 LSTM 기반 예측 모니터링 방법은 기존의 신경망 기반 접근법보다 시간에 따라 변화하는 변동성을 가진 시계열 데이터에서 평균 이동을 더 효과적으로 탐지할 수 있는가?
• RQ2 예측 오차의 분산 추정 없이 표준 LSTM 예측을 사용하는 것과 비교해, 예측 구간을 통한 데이터 불확실성의 명시적 모델링이 이상 탐지 성능에 어떻게 기여하는가?
• RQ3 비정상적이고 노이즈가 많은 환경에서, 제안된 방법은 거짓 경고를 줄이고 탐지 속도를 향상시키는 데 어느 정도 기여하는가?
• RQ4 랜덤 시드와 시뮬레이션 설정의 변화에 대해 방법의 성능이 얼마나 안정적이고 일반화 가능한가?
• RQ5 레이블이 없는 훈련 예제가 필요 없이 제안된 방법을 실제 센서 데이터에 효과적으로 적용할 수 있는가?

주요 결과

• 불확실성 정량화를 포함한 제안된 LSTM 기반 방법은 기준 모델보다 평균 이동 탐지에서 뚜렷한 성능 향상을 보이며, 특히 고 AR(1) 계수(예: φ=0.9) 조건에서 유의미한 개선을 보였다. φ=0.9 및 δ=2.0 조건에서 아블레이션 모델 B의 CED에서 절대 백분율 차이가 13.3%에 이르렀다.
• φ=0.9일 때 δ=2.0의 평균 이동에 대해 제안된 방법은 탐지율(DR)이 100%를 기록했으며, 동일 조건에서 아블레이션 모델 B는 94%에 그쳤다.
• 엘리베이터 사례 연구에서 제안된 방법은 시간에 따라 변화하는 변동성을 가진 실제 센서 데이터에서 이상을 성공적으로 탐지하여 실용성과 효과성을 확인했다.
• 아블레이션 연구를 통해 별도의 분산 모델링이 핵심임을 확인했다. 이 구성 요소를 제거할 경우, 특히 고노이즈 또는 비정상적 환경에서 성능 저하가 심각하게 발생했다.
• 다양한 랜덤 시드에서 안정적인 성능 유지를 보였으며, 대부분의 지표 변화가 5% 이내에 머물러 있어 다양한 시뮬레이션 조건에서의 강건성과 신뢰성을 입증했다.
• δ=2.0 및 φ=0.9 조건에서 제안된 방법은 재현율 57.62%를 달성하여 RNN 기준 모델(42.61%) 및 아블레이션 모델을 모두 초월하며, 복잡한 변동성 조건에서 뛰어난 탐지 능력을 입증했다.