[논문 리뷰] Real-Time Anomaly Detection for Advanced Manufacturing: Improving on Twitter's State of the Art

Caitríona M. Ryan, Andrew Parnell외 1명|arXiv (Cornell University)|2019. 11. 13.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 고도화된 제조 분야의 스트리밍 시계열 데이터를 위한 통계적으로 타당하고 실시간으로 작동하는 이상 탐지 알고리즘인 R-ESD를 제안한다. 이 알고리즘은 이동 평균 기반 표준화와 함께 이동 창을 사용하여 일반화된 극단적 학생화된 편차(ESD) 검정 통계량을 반복적으로 갱신함으로써 저메모리, 실시간 탐지를 가능하게 하며, 산업용 및 기준 데이터셋에서 정밀도, 재현율, 이른 이상 탐지 측면에서 트위터의 SH-ESD 및 기타 기준보다 뛰어난 성능을 보였다.

ABSTRACT

The detection of anomalies in real time is paramount to maintain performance and efficiency across a wide range of applications including web services and smart manufacturing. This paper presents a novel algorithm to detect anomalies in streaming time series data via statistical learning. We adapt the generalised extreme studentised deviate test [1] to streaming data by using a sliding window approach. This is made computationally feasible by recursive updates of the Grubbs test statistic [2]. Moreover, a priority queue [3] is employed to reduce memory requirements, where subsets of the required data streaming window are maintained in the algorithm rather than the full list. Our method is statistically principled. It is suitable for streaming data and it outperforms the AnomalyDetection software package, recently released by Twitter Inc. (Twitter) [4] and used by multiple teams at Twitter as their state of the art on a daily basis [5]. The methodology is demonstrated using an example of unlabelled data from the Twitter AnomalyDetection GitHub repository and using a real manufacturing example with labelled anomalies.

연구 동기 및 목표

• 고도화된 제조 분야의 스트리밍 시계열 데이터를 위한 실시간, 저메모리 이상 탐지 방법을 개발하기 위해.
• 트위터의 SH-ESD의 통계적 및 계산적 한계를 해결하기 위해, 특히 학생화 과정에서 중앙값과 MAD를 사용하고, 겹치지 않는 창을 사용하는 점을 개선하기 위해.
• 이동 창 내에서 ESD 검정 통계량을 반복적으로 갱신함으로써 진정된 스트리밍 탐지를 가능하게 하기 위해.
• 산업 센서 데이터에서 이상을 더 정확하고 이른 시점에 탐지할 수 있는 능력을 향상시키기 위해.
• 기준 및 실제 데이터셋에서 기존 최첨단 방법들인 SH-ESD, EGADS, DeepADVote를 능가하는 성능을 확보하기 위해.

제안 방법

• R-ESD 알고리즘은 초기 단계에서 시계열 분해를 통해 추세와 계절성을 추정하고 제거한다.
• 이동 창 내의 잔차에 일반화된 ESD 검정을 적용하며, 이 검정 통계량을 반복적으로 갱신한다.
• 학습된 분포와 일치하는 ESD 검정의 이론적 분포를 고려하여, 적절한 학생화를 위해 평균과 표준편차를 사용하여 통계량을 반복적으로 갱신한다.
• 계절성 주기를 TSA 패키지의 주기도 함수를 통해 푸리에 변환을 이용하여 추정한다.
• ESD 분포에서 유도된 임계값과 통계량을 비교함으로써 이상을 탐지하며, 각 창에서 다중 이상치를 동시에 테스트한다.
• 메모리 사용량을 최소화하고 각 데이터 포인트당 일정 시간 내에 갱신이 가능하도록 하여 실시간 구현을 지원한다.

실험 결과

연구 질문

• RQ1 일반화된 ESD 검정의 통계적으로 타당한 버전을 스트리밍 시계열 데이터에 적응시킬 수 있는가?
• RQ2 학생화 과정에서 중앙값과 MAD를 평균과 표준편차로 대체할 경우 이상 탐지 성능 향상과 유형 I 오류 감소가 이루어지는가?
• RQ3 ESD 검정 통계량의 반복적 갱신을 통해 이동 창 내에서 저메모리, 실시간 이상 탐지를 가능하게 할 수 있는가?
• RQ4 R-ESD는 산업용 및 기준 데이터셋에서 트위터의 SH-ESD 및 기타 최첨단 방법보다 이상 탐지 성능이 뛰어난가?
• RQ5 특히 제조 환경에서 R-ESD는 기존 방법들보다 더 미세하고 점진적인 이상을 이르기까지 탐지할 수 있는가?

주요 결과

• R-ESD는 Numenta 기계 온도 데이터셋에서 정밀도 0.004, 재현율 0.25를 기록했으며, SH-ESD가 탐지하지 못한 첫 번째 이상을 정확히 식별했다.
• SH-ESD는 동일한 데이터셋에서 어떤 이상도 탐지하지 못했으며, 정밀도와 재현율 모두 0.0으로 기록되었다.
• Yahoo EGADS A3 기준 데이터셋에서 R-ESD는 F1-스코어 0.75 이상을 달성했으며, EGADS(F1 < 0.7)와 DeepADVote(25퍼센트 분위수 F1 = 0.3)를 모두 능가했다.
• R-ESD는 20,000개 창을 처리하는 데 창당 0.0005초가 소요되어 실시간 스트리밍에 매우 높은 계산 효율성을 보였다.
• 이상적인 고장으로 이어지는 점진적인 온도 하락을 정확히 탐지함으로써, 산업 정비에 필수적인 조기 경고 능력을 입증했다.
• R-ESD는 SH-ESD에서 중앙값과 MAD 사용으로 인해 발생하는 무거운 尾(꼬리) 분포 문제를 피하기 위해 평균 기반 학생화를 적용함으로써 통계적으로 타당한 접근을 구현했다.