[논문 리뷰] Normalizing flows for novelty detection in industrial time series data

Maximilian Schmidt, Marko Šimić|arXiv (Cornell University)|2019. 06. 17.

Anomaly Detection Techniques and Applications참고 문헌 11인용 수 23

한 줄 요약

이 논문은 산업용 시계열 데이터에서 이상 탐지에 대해 정규화 흐름(Normalizing Flows)—특히 마스크된 순차적 확률 모델(Masked Autoregressive Flows, MAF)과 MADE 제약 조건을 적용한 FFJORD—을 사용하는 것을 제안한다. 역치환 변환을 통해 정상 데이터 분포를 학습함으로써 정확한 우도 점수를 계산하여 이상치를 탐지하며, 합성 및 실제 모터 전류 데이터에서 국소 이상점 요소(Local Outlier Factor, LOF)보다 뛰어난 성능을 보이며, 실제 산업용 시계열 데이터에서 거의 완벽한 정확도를 달성한다.

ABSTRACT

Flow-based deep generative models learn data distributions by transforming a simple base distribution into a complex distribution via a set of invertible transformations. Due to the invertibility, such models can score unseen data samples by computing their exact likelihood under the learned distribution. This makes flow-based models a perfect tool for novelty detection, an anomaly detection technique where unseen data samples are classified as normal or abnormal by scoring them against a learned model of normal data. We show that normalizing flows can be used as novelty detectors in time series. Two flow-based models, Masked Autoregressive Flows and Free-form Jacobian of Reversible Dynamics restricted by autoregressive MADE networks, are tested on synthetic data and motor current data from an industrial machine and achieve good results, outperforming a conventional novelty detection method, the Local Outlier Factor.

연구 동기 및 목표

• 정상 데이터만을 사용하여 훈련된 이상 탐지 모델이 유한한 이상 데이터를 요구하지 않고도 산업용 시계열 데이터에서 이상을 효과적으로 탐지할 수 있는지 조사하는 것.
• 기존 방법들과 비교하여 정규화 흐름—특히 MAF 및 MADE 제약 조건을 적용한 FFJORD—의 이상 탐지 성능을 평가하는 것.
• 유연한 생성 모델을 통해 실제 산업용 시계열 데이터를 재현하는 합성 정상 시계열 데이터를 생성할 수 있음을 보여주는 것.
• 유연한 생성 모델을 활용해 정상 상태에서 비정상 상태로의 전이를 학습할 수 있는지 탐색하여 산업 시스템의 고장 모드 분석을 가능하게 하는 것.

제안 방법

• 기본 분포에서 시작하여 정상 데이터 분포를 정확히 모델링하기 위해, 마스크된 순차적 확률 모델(MAF)에 MADE 아키텍처를 적용하여 시계열 데이터를 순차적이고 역치환 가능한 변환으로 표현하는 방법을 사용하였다.
• 자기 반전 동역학의 자유형 자코비안(FFJORD)에 MADE 제약 조건을 적용하여 연속 시간 정규화 흐름을 학습함으로써 시간적 의존성을 민감하고 미분 가능한 방식으로 모델링하였다.
• 변환 공식을 통해 우도를 계산하여 미리 보지 않은 시계열 샘플을 점수화하였으며, 낮은 우도 값은 이상치일 가능성이 있음을 나타낸다.
• 모델을 정상 데이터만으로 훈련한 후, 보류된 정상 및 비정상 샘플에 대해 평가하여 이상 탐지 성능을 평가하였다.
• 일반화 성능 향상을 위해 정상 및 비정상 데이터에 대해 평균을 중심으로 조정하여 시간적 상관관계의 차이를 분리하였다.
• 학습된 잠재 분포에서 샘플을 추출하고 역치환 흐름을 통과시켜 새로운 합성 시계열 데이터를 생성하였다.

실험 결과

연구 질문

• RQ1 정상 데이터만으로 훈련된 정규화 흐름이 산업용 시계열 데이터에서 이상을 효과적으로 탐지할 수 있는가?
• RQ2 MAF 및 MADE 제약 조건을 적용한 FFJORD는 기존 방법들—예: 국소 이상점 요소(LOF)—와 비교하여 시계열 이상 탐지 성능에서 어떻게 비교되는가?
• RQ3 유연한 생성 모델이 산업용 시계열 데이터의 실제 시간적 상관관계를 어느 정도 잘 포착하고 생성할 수 있는가?
• RQ4 정상 분포에서의 시간적 자기상관 패턴의 이탈을 학습함으로써 흐름 기반 모델이 비정상 데이터를 탐지할 수 있는가?
• RQ5 훈련된 흐름 기반 모델을 활용해 고장 모드 분석을 위한 비정상 상태 전이를 시뮬레이션하는 것이 가능한가?

주요 결과

• MAF 및 FFJORD+MADE 모델은 합성 및 실제 산업용 시계열 데이터에서 국소 이상점 요소(LOF)보다 이상 탐지 성능이 뛰어났다.
• 실제 모터 전류 데이터에서 두 흐름 기반 모델은 거의 완벽한 분류 성능을 보였으며, 참양성률(true positive rate)은 100%였고, 거짓양성률(false positive rate)은 0.5% 이하였다.
• 충분히 훈련된 후 FFJORD+MADE 모델은 비정상 데이터에 적용했을 때 불안정성을 보였으며, 학습된 정상 분포에서 벗어나는 경향을 보였다.
• 잠재 공간에서 비정상 샘플은 흰색 잡음과 크게 다름을 확인하여, 모델이 비정상 패턴을 효과적으로 식별할 수 있음을 입증하였다.
• 정상 및 비정상 샘플의 우도 점수는 잘 분리되어 있었으며, 이는 거짓양성률 0%와 참양성률 100%를 달성할 수 있는 결정 경계를 제공하였다.
• 훈련된 모델은 실제 정상 데이터의 경험적 자기상관과 일치하는 합성 시계열을 성공적으로 생성하여, 효과적인 분포 학습 능력을 입증하였다.