[논문 리뷰] Interpretable, Multidimensional, Multimodal Anomaly Detection with Negative Sampling for Detection of Device Failure

John W. Sipple|arXiv (Cornell University)|2020. 07. 12.

Anomaly Detection Techniques and Applications인용 수 16

한 줄 요약

이 논문은 실시간으로 다차원, 다모드 이상 현상을 탐지하기 위해 랜덤 포레스트 또는 신경망 분류기와 함께 음성 샘플링을 사용하는 확장성 있고 비지도 이상 탐지 방법을 제안한다. 이 방법은 최신 기술 수준의 AUC 성능를 달성하며, 통합 기울기(Intergrated Gradients)를 통해 해석 가능한 이상 원인 분석이 가능하며, 캘리포니아 베이 지역의 145개 사무실 빌딩에서 15,000대 이상의 장치에 성공적으로 도입되었다.

ABSTRACT

Complex devices are connected daily and eagerly generate vast streams of multidimensional state measurements. These devices often operate in distinct modes based on external conditions (day/night, occupied/vacant, etc.), and to prevent complete or partial system outage, we would like to recognize as early as possible when these devices begin to operate outside the normal modes. Unfortunately, it is often impractical or impossible to predict failures using rules or supervised machine learning, because failure modes are too complex, devices are too new to adequately characterize in a specific environment, or environmental change puts the device into an unpredictable condition. We propose an unsupervised anomaly detection method that creates a negative sample from the positive, observed sample, and trains a classifier to distinguish between positive and negative samples. Using the Contraction Principle, we explain why such a classifier ought to establish suitable decision boundaries between normal and anomalous regions, and show how Integrated Gradients can attribute the anomaly to specific variables within the anomalous state vector. We have demonstrated that negative sampling with random forest or neural network classifiers yield significantly higher AUC scores than Isolation Forest, One Class SVM, and Deep SVDD, against (a) a synthetic dataset with dimensionality ranging between 2 and 128, with 1, 2, and 3 modes, and with and without noise dimensions; (b) four standard benchmark datasets; and (c) a multidimensional, multimodal dataset from real climate control devices. Finally, we describe how negative sampling with neural network classifiers have been successfully deployed at large scale to predict failures in real time in over 15,000 climate-control and power meter devices in 145 Google office buildings.

연구 동기 및 목표

• 기후 제어 장치나 전력 미터와 같은 복잡한 장치에서 발생하는 고차원적이고 다모드인 IoT 원격 모니터링 데이터에서 미세한 다차원 이상 현상을 탐지하는 데 도전하는 것.
• 결함 레이블이 부족하고 동적인 운영 모드(예: 점유율 모드 대비 에코 모드)가 존재하는 점을 감안해, 기존의 일변도 또는 지도 학습 방법의 한계를 극복하는 것.
• 수동 재설정 없이 계절적 변화나 환경 변화에 적응할 수 있는 확장성 있고, 구성이 없는 이상 탐지 시스템을 개발하는 것.
• 통합 기울기를 사용해 이상 점수를 특정 특성 차원에 할당함으로써 해석 가능한 진단 기능을 제공하는 것.
• 실제 스마트 빌딩 환경에서 대규모로 도입하여 오류 경고를 줄이고, 시스템 장애 발생 이전에 장치 고장을 사전에 탐지하는 것.

제안 방법

• 관측된 정상 데이터 포인트를 무작위 노이즈나 보간을 사용해 변형함으로써 음성 샘플을 생성하고, 학습을 위한 합성 이상 예제를 만드는 것.
• 실제 정상 샘플과 합성 음성 샘플을 구분할 수 있도록 이진 분류기(랜덤 포레스트 또는 신경망)를 훈련하는 것.
• 고차원 공간에서 정상 영역과 이상 영역 간의 효과적인 결정 경계 학습을 정당화하기 위해 농도 현상(Concentration Phenomenon)을 활용하는 것.
• 통합 기울기를 적용해 특성 기여도를 계산하고, 이상 상태 벡터의 각 차원에 비례한 책임을 할당함으로써 해석 가능성을 확보하는 것.
• 역동적인 시계열 변화에 대응하기 위해 과거 데이터의 슬라이딩 윈도우를 활용해 모델을 주기적으로 재훈련하는 것.
• 장치의 유형과 행동 패턴에 따라 동질적 인과군으로 클러스터링하고, 각 인과군에 독립적인 이상 탐지 인스턴스를 할당하여 확장 가능한 배포를 구현하는 것.

실험 결과

연구 질문

• RQ1 이항 분류기와 함께 음성 샘플링이 다차원적이고 다모드인 IoT 데이터셋에서 최신 기술 수준의 일변도 이상 탐지 방법보다 우수한 성능을 보일 수 있는가?
• RQ2 고차원 특성 공간에서 이상 탐지기의 결정 경계 학습을 정당화하는 데 있어 농도 현상이 얼마나 효과적인가?
• RQ3 통합 기울기가 특정 센서 차원에 책임을 할당함으로써 이상 현상에 대해 의미 있고 실질적인 해석을 제공할 수 있는가?
• RQ4 이러한 접근법은 다양한 유형과 변화하는 운영 모드를 가진 이질적이고 진화하는 장치들이 존재하는 실제 환경에서 대규모로 배포될 수 있는가?
• RQ5 이 방법은 룰 기반 또는 지도 학습 기반 고장 탐지 방법 대비 실제 스마트 빌딩 환경에서의 배포 시 양성 결과 비율을 줄일 수 있는가?

주요 결과

• 랜덤 포레스트 또는 신경망 분류기를 사용한 음성 샘플링은 다섯 개의 표준 벤치마크 데이터셋 중 네 개에서 이sovlation Forest, One-Class SVM, Deep SVDD, Extended Isolation Forest와 비교해 동등하거나 높은 AUC 점수를 기록했다.
• 기후 제어 장치에서 수집한 실제 다차원, 다모드 데이터셋에서, 이 방법은 최신 기술 수준의 접근법보다 이상 탐지 성능에서 뛰어난 성능을 보였다.
• NS-NN(음성 샘플링과 신경망) 모델은 캘리포니아 베이 지역의 145개 사무실 빌딩에서 15,000대 이상의 장치를 모니터링하는 데 성공적으로 대규모로 도입되었다.
• 탐지된 장치 수준 이상 중 44% 이상이 기술 지원 요청으로 이어져, 시스템의 실용적 관련성과 실질적인 진단 통찰력을 입증했다.
• 통합 기울기를 통해 이상 현상이 특정 센서 차원(예: 멈춘 덤퍼 또는 고장 난 센서)에 기인함을 효과적으로 해석할 수 있었고, 진단에 기여했다.
• 신규 장치에 대해 수동 설정이 필요 없었으며, 과거 데이터의 슬라이딩 윈도우를 기반으로 주기적인 재훈련을 통해 계절 변화에 자동으로 적응했다.