[논문 리뷰] Statistical Evaluation of Anomaly Detectors for Sequences

Erik Scharwächter, Emmanuel Müller|arXiv (Cornell University)|2020. 08. 13.

Anomaly Detection Techniques and Applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 순차적 데이터에서 점 기반 이상 탐지에 대해 시간 내성 정밀도와 재현율 측정법을 도입하며, 혼동 행렬에 시간 내성 요건을 적용하여 실제 탐지 지연을 더 잘 반영한다. 시뮬레이션을 통해 표준 정밀도와 재현율이 성능을 과대평가할 수 있음을 입증하고, 몽테카를로 근사 분포를 사용해 통계적 유의성을 평가하며, 순열 검정에서 관측된 결과의 p < 0.0001을 보여준다.

ABSTRACT

Although precision and recall are standard performance measures for anomaly detection, their statistical properties in sequential detection settings are poorly understood. In this work, we formalize a notion of precision and recall with temporal tolerance for point-based anomaly detection in sequential data. These measures are based on time-tolerant confusion matrices that may be used to compute time-tolerant variants of many other standard measures. However, care has to be taken to preserve interpretability. We perform a statistical simulation study to demonstrate that precision and recall may overestimate the performance of a detector, when computed with temporal tolerance. To alleviate this problem, we show how to obtain null distributions for the two measures to assess the statistical significance of reported results.

연구 동기 및 목표

• 순차적 데이터에서 점 기반 이상 탐지에 대해 시간 내성 정밀도와 재현율을 체계화한다.
• 순차적 탐지에서 시기 불일치로 인해 표준 정밀도와 재현율이 탐지기 성능을 과대평가할 수 있는 위험을 해결한다.
• 몽테카를로 시뮬레이션을 사용해 보고된 정밀도와 재현율 값의 유의성을 평가하는 통계적 프레임워크를 개발하고 검증한다.
• 진짜 양성 수의 근본 분포가 재현율의 경우 약간 이항 분포에 가까운 반면 정밀도의 경우 과분산임을 입증하며, 더 정교한 분석 모델의 필요성을 제기한다.

제안 방법

• 시간 창 δ 내에서 예측된 이상과 진짜 이상 간의 매칭을 允허하는 시간 내성 혼동 행렬을 제안한다.
• 시간 내성 정밀도와 재현율을 각각 δ 이내의 참양성 수를 총 예측 이상 수 및 총 실제 이상 수로 나눈 비율로 정의한다.
• 진짜 이상 시퀀스를 무작위로 순열화한 몽테카를로 시뮬레이션을 통해 참양성 수의 근본 분포를 생성한다.
• 몽테카를로 p-값을 계산하며, 관측된 참양성 수 이상을 얻는 시뮬레이션 실행 비율을 의미한다.
• 이항 분포 가정 기반의 분석적 근본 분포를 유도하고, 이를 시뮬레이션 결과와 비교한다.
• 실제 지진 탐지 사례를 활용해 트위터 데이터와 에너지 전이 스코어를 사용해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 순차적 이상 탐지에 대해 시간 내성 조건을 고려한 정밀도와 재현율을 의미 있게 재정의할 수 있는가?
• RQ2 시기 불일치가 존재할 경우 표준 정밀도와 재현율이 탐지기 성능을 얼마나 과대평가할 수 있는가?
• RQ3 예측과 진짜 이상 간의 연관성이 없을 경우, 시간 내성 정밀도와 재현율의 통계적 행동은 어떠한가?
• RQ4 무작위 순열 하에서 참양성 수의 근본 분포가 이항 분포로 잘 근사되는가?
• RQ5 어떻게 순차적 이상 탐지에서 보고된 정밀도와 재현율 값의 통계적 유의성을 엄밀하게 평가할 수 있는가?

주요 결과

• 조금의 시간 내성(δ = 2)이 존재하더라도 통계적 유의성 검정 없이 시간 내성 정밀도와 재현율을 계산할 경우 탐지기 성능을 크게 과대평가할 수 있다.
• 관측된 정밀도와 재현율에 대한 몽테카를로 p-값은 p < 0.0001이었으며, 지진 탐지 사례 연구에서 높은 통계적 유의성을 보였다.
• 무작위 순열 하에서 재현율의 참양성 수 근본 분포는 이항 분포와 매우 유사하게 나타났다.
• 정밀도의 참양성 수 근본 분포는 이항 모델 대비 과분산을 보이며, 더 정교한 분석 모델의 필요성을 시사한다.
• 제안된 방법은 순열 기반 p-값을 활용해 신호와 우연을 구분함으로써 이상 탐지기 성능을 신뢰성 있게 평가할 수 있도록 한다.