[논문 리뷰] ODE - Augmented Training Improves Anomaly Detection in Sensor Data from Machines

Mohit Yadav, Pankaj Malhotra외 3명|arXiv (Cornell University)|2016. 05. 05.

Anomaly Detection Techniques and Applications참고 문헌 8인용 수 21

한 줄 요약

이 논문은 동적 기계의 센서 데이터에서 이상 탐지 성능을 햖스하기 위해 ODE 보정 훈련을 제안한다. 도메인 지식 기반 ODE를 사용해 합성된 제어 입력 변동을 생성하고 실제 정상 데이터와 결합함으로써 데이터 증강을 수행한다. 이 방법은 LSTM-AD 성능을 크게 향상시키며, 실제 데이터가 적은 경우 F-score를 0.49에서 0.64로 상승시켜 새로운 제어 입력 조건 하에서의 이상 탐지 능력을 향상시킨다.

ABSTRACT

Machines of all kinds from vehicles to industrial equipment are increasingly instrumented with hundreds of sensors. Using such data to detect anomalous behaviour is critical for safety and efficient maintenance. However, anomalies occur rarely and with great variety in such systems, so there is often insufficient anomalous data to build reliable detectors. A standard approach to mitigate this problem is to use one class methods relying only on data from normal behaviour. Unfortunately, even these approaches are more likely to fail in the scenario of a dynamical system with manual control input(s). Normal behaviour in response to novel control input(s) might look very different to the learned detector which may be incorrectly detected as anomalous. In this paper, we address this issue by modelling time-series via Ordinary Differential Equations (ODE) and utilising such an ODE model to simulate the behaviour of dynamical systems under varying control inputs. The available data is then augmented with data generated from the ODE, and the anomaly detector is retrained on this augmented dataset. Experiments demonstrate that ODE-augmented training data allows better coverage of possible control input(s) and results in learning more accurate distinctions between normal and anomalous behaviour in time-series.

연구 동기 및 목표

• 동적 시스템의 이상 탐지에 있어 수동 제어 입력의 변동성이 제한된 정상 훈련 데이터 부족 문제를 해결하기 위해.
• 실제 데이터에 존재하지 않는 다양한 제어 입력 시나리오를 시뮬레이션하여 이상 탐지기의 강건성을 향상시키기 위해.
• 도메인 지식 기반 ODE 모델을 생성 도구로 활용하여 데이터 증강을 위한 현실적인 정상 시계열 데이터를 합성하기 위해.
• ODE 보정 훈련이 LSTM 기반 이상 탐지 모델의 일반화 능력과 정확도를 향상시키는지 평가하기 위해.
• ODE로 생성된 데이터가 새로운 또는 알려지지 않은 제어 입력에 의해 발생하는 이상 탐지 능력을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 학습 가능한 파rameter를 가진 ODE를 사용해 제어 입력(예: 가속페달 위치)에 따라 종속 센서 변수(예: 냉각수 온도)를 함수로 모델링하기 위해.
• 실제 센서 데이터의 시간 윈도우를 기반으로 최대우도추정법을 사용해 ODE 파rameter를 추정하며, ODE의 구조에 대한 도메인 지식을 활용하기 위해.
• 학습된 통계 분포에서 새로운 제어 입력 값을 샘플링하고 ODE 반응을 시뮬레이션하여 합성 시계열 데이터를 생성하기 위해.
• 원래의 실제 정상 훈련 데이터를 ODE로 생성된 합성 데이터와 결합하여 더 크고 다양한 훈련 세트를 구성하기 위해.
• 예측 오차의 가능도 점수와 F-score 최적화를 통해 최적화된 임계값을 사용하여 증강된 데이터셋으로 LSTM-AD 이상 탐지 모델을 재학습하기 위해.
• 예측 오차에 대해 정규 가능도 모델을 사용해 이상 점수를 계산하고, 검증 데이터에서 F-score를 최대화하도록 임계값을 선택하기 위해.

실험 결과

연구 질문

• RQ1 실제 정상 데이터가 제한적으로 존재할 경우 ODE 기반 데이터 생성이 이상 탐지 성능 향상에 기여하는가?
• RQ2 실제 데이터에 존재하지 않는 제어 입력 변동을 ODE 시뮬레이션으로 증강한 훈련 데이터를 사용할 경우, 새로운 제어 입력 조건 하에서 이상 탐지 성능이 향상되는가?
• RQ3 실제 데이터만으로 훈련하는 것과 비교해 ODE 보정 훈련이 정밀도, 재현율 및 F-score 측면에서 어떻게 성능을 내는가?
• RQ4 ODE 모델이 원래 데이터에 존재하지 않는 다양한 제어 입력 조건 하에서 현실적인 정상 행동을 효과적으로 시뮬레이션할 수 있는가?
• RQ5 ODE로 생성된 데이터의 포함 여부가 새로운 제어 입력이지만 정상인 경우에 거짓 경고를 줄이는가?

주요 결과

• ODE 보정 훈련을 통해 F-score가 실제 데이터가 적은 경우 0.49에서 0.64로 상승하여 이상 탐지 성능 향상이 뚜렷하게 확인되었다.
• 실제 데이터가 적은 경우 ODE로 생성된 데이터를 증강했을 때 정밀도가 0.34에서 0.52로 상승하여 거짓 경고가 줄어들었다.
• ODE 보정 훈련 데이터로 학습한 모델은 실제 데이터로만 학습했을 때 놓친 타입 1 이상(0값 간격 단기 스팁)을 성공적으로 탐지하였다.
• 그림 3의 F-score 곡선은 ODE로 생성된 데이터를 점진적으로 실제 소규모 데이터셋에 추가함에 따라 지속적인 성능 향상이 이루어짐을 보여주며, 데이터 다양성의 이점이 확인되었다.
• 더 큰 실제 데이터셋(L(r)) 역시 증강에 의해 혜택을 보였으며, ODE로 생성된 데이터를 추가했을 때 F-score가 0.55에서 0.67로 상승하였다.
• 이 방법은 다양한 제어 입력 조건 하에서 정상 행동의 커버리지 범위를 효과적으로 확장하여, 새로운 제어 입력이지만 정상인 경우를 이상으로 잘못 분류할 위험을 줄였다.