[논문 리뷰] Real-Time Anomaly Detection for Streaming Analytics

Subutai Ahmad, Scott Purdy|arXiv (Cornell University)|2016. 07. 08.

Anomaly Detection Techniques and Applications참고 문헌 24인용 수 77

한 줄 요약

이 논문은 스트리밍 타임시리즈 데이터에서 공간적 이상현상과 시간적 이상현상을 동시에 탐지할 수 있는 실시간 이상 탐지 시스템을 제안한다. 이 방법은 데이터로부터 지속적으로 학습하고 통계적 변화에 적응하며, NAB 벤치마크에서 최고 성능을 기록하며 낮은 거짓 양성률과 미세한 행동 패턴 변화의 조기 탐지가 가능하다.

ABSTRACT

Much of the worlds data is streaming, time-series data, where anomalies give significant information in critical situations. Yet detecting anomalies in streaming data is a difficult task, requiring detectors to process data in real-time, and learn while simultaneously making predictions. We present a novel anomaly detection technique based on an on-line sequence memory algorithm called Hierarchical Temporal Memory (HTM). We show results from a live application that detects anomalies in financial metrics in real-time. We also test the algorithm on NAB, a published benchmark for real-time anomaly detection, where our algorithm achieves best-in-class results.

연구 동기 및 목표

• 기존의 배치 또는 지도 학습 방법이 비정상성과 레이블 부족으로 실패하는 실시간 스트리밍 데이터에서 이상을 탐지하는 과제를 해결하기 위해.
• 온라인 학습이 가능하면서 실시간 예측을 수행할 수 있는 비지도, 적응형 이상 탐지 시스템을 개발하기 위해.
• 범위를 벗어난 값(공간적 이상현상)뿐만 아니라 주요 장애 발생 이전에 나타나는 이상한 행동 패턴(시간적 이상현상)도 탐지하기 위해.
• 최소한의 하이퍼파라미터 튜닝으로도 실제 스트리밍 데이터에서 높은 성능을 달성하고 노이즈에 강건한 시스템을 확보하기 위해.
• 금융 모니터링 분야에 실용적으로 구현하고 NAB 데이터셋에서 기존 방법과의 성능 비교를 통해 검증하기 위해.

제안 방법

• 시스템은 시간적 패턴을 스트리밍 타임시리즈 데이터에 모델링하기 위해 생물학적으로 영감을 받은 온라인 시퀀스 메모리 알고리즘인 계층적 시간 메모리(HTM)를 사용한다.
• 이상 탐지는 학습된 시간적 모델 하에서 각 도착하는 데이터 포인트의 확률을 계산함으로써 수행되며, 낮은 확률은 이상을 나타낸다.
• 알고리즘은 거짓 양성률을 제어하기 위해 확률적 수식을 사용하여 사용자 요구에 따라 감도를 조절할 수 있도록 한다.
• 재학습이나 배치 처리 없이도 모델을 점진적으로 갱신함으로써 데이터 통계의 변화에 지속적으로 적응한다.
• 대규모 시스템의 경우, 다양한 데이터 스트림을 처리하기 위해 시간 윈도우 기반으로 다수의 독립된 모델을 지원한다.
• 원시 메트릭 값에 고정된 분포를 가정하는 대신 이상점 수치를 확률적으로 모델링함으로써 비정규 분포 데이터에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 온라인 비지도 학습 알고리즘이 최소한의 튜닝으로 실시간 스트리밍 데이터에서 공간적 이상현상과 시간적 이상현상을 동시에 탐지할 수 있는가?
• RQ2 실제 스트리밍 벤치마크에서 HTM 기반 이상 탐지 성능은 기존의 통계적 및 기계학습 방법과 비교해 어떻게 되는가?
• RQ3 시간 모델링을 통해 순수 공간적 방법에 비해 얼마나 조기에 이상을 탐지할 수 있는가?
• RQ4 지속적인 학습이 비정상성 데이터 환경에서 탐지 정확도를 어떻게 향상시키는가?
• RQ5 생산 수준의 데이터에서 미세한 조기 경고 이상현상을 탐지하면서도 낮은 거짓 양성률을 유지할 수 있는가?

주요 결과

• HTM 기반 탐지기는 NAB 벤치마크에서 Skyline, Twitter ADVec, 베이지안 변화점 탐지 방법을 다수의 지표에서 앞서는 최고 성능을 기록했다.
• 알고리즘이 기계 온도 데이터에서 다른 방법들보다 3시간 일찍 미세한 시간적 이상현상을 탐지했으며, 이는 조기 고장 예측에 매우 중요하다.
• CPU 사용률의 지속적 변화 상황에서 HTM과 Skyline는 새로운 정상 상태에 적응했지만, Twitter ADVec는 며칠 동안 계속 거짓 양성 경고를 발생시켰다.
• 스페이스 전용 탐지기들이 놓친 치명적인 이상현상이 시스템 장애 이전에 탐지되었으며, 이는 시간 모델링의 가치를 입증한다.
• 원시 값에 대한 고정된 분포를 가정하지 않고 이상점 수치를 확률적으로 모델링함으로써 노이즈가 많고 비정규 분포인 데이터에 대해 강건성을 확보했다.
• 알고리즘은 최소한의 파rameter 튜닝으로도 강력한 계산 효율성을 보였으며, 표준 랩탑에서 약 8ms의 속도로 데이터를 처리했다.