[논문 리뷰] Precision and Recall for Range-Based Anomaly Detection

Tae J. Lee, Justin Gottschlich외 3명|arXiv (Cornell University)|2018. 01. 09.

Anomaly Detection Techniques and Applications참고 문헌 7인용 수 10

한 줄 요약

이 논문은 시간 간격을 차지하는 범위 기반 이상 탐지에 특화된 정밀도와 재현율의 새로운 수학적 프레임워크를 제안한다. 기존의 정밀도 및 재현율 메트릭스를 보다 잘 평가할 수 있도록 시간 간격 기반 이상 탐지 시스템을 평가하기 위해 일반화된 메트릭스를 제공한다. 예측의 겹침 크기, 위치 편향, 예측의 기수성 수를 사용자 정의 가능한 함수를 통해 통합함으로써, 고전적인 점 기반 메트릭스를 일반화하면서도 스트리밍 및 실시간 응용 프로그램에서 정확도 평가를 향상시키기 위한 도메인 특화 조정이 가능하다.

ABSTRACT

Classical anomaly detection is principally concerned with point-based anomalies, anomalies that occur at a single data point. In this paper, we present a new mathematical model to express range-based anomalies, anomalies that occur over a range (or period) of time.

연구 동기 및 목표

• 단일 시간 포인트가 아닌 시간 간격을 차지하는 범위 기반 이상 탐지에 대해 고전적 정밀도 및 재현율 메트릭스의 부적합성을 해결하기 위해.
• 고전적인 점 기반 메트릭스를 포함하는 공식적인 수학적 모델을 개발하여 사용자 정의 가능한 도메인 특화 행동을 지원하기 위해.
• 이상 탐지 시스템의 실시간 및 스트리밍 환경에서 이상이 시간 간격 동안 나타나는 상황에서 정확한 평가를 가능하게 하기 위해.
• 겹침 크기, 위치 편향, 예측 기수성에 대한 조정 가능한 함수를 제공하여 응용 분야의 특수한 우선순위를 반영하기 위해.

제안 방법

• 모든 실제 이상 범위 $R_i$ 에 대해 존재 및 겹침 보상의 가중합을 계산하는 새로운 재현율 공식 $Recall_T(R,P)$ 을 제안한다.
• 단일 실제 이상 범위에 여러 예측 범위가 겹치는 것을 방지하기 위해 기수성 요소 $\gamma(R_i, P)$ 를 도입하며, 이 $\gamma$ 는 응용 요구사항에 맞게 사용자 정의 가능하다.
• 위치 편향 함수 $\delta(i, \text{length})$ 를 사용하여 실제 이상 범위 내에서의 겹침 크기 보상 $\omega(R_i, R_i \cap P_j, \delta)$ 를 정의하며, 이는 겹침 내에서의 조기, 후기 또는 균일한 위치에 대한 강조를 가능하게 한다.
• 정밀도에 대해서도 유사한 원리를 적용하여 $Precision_T(R,P)$ 를 정의하며, 이는 각 예측 범위 $P_i$ 를 모든 실제 이상 범위 $R_j$ 와 비교하여 기수성 요소와 겹침 보상을 사용한다.
• 겹침 크기, 위치 편향, 예측 기수성에 대한 조정 가능한 함수 $\omega$, $\gamma$, $\delta$ 를 사용하여 겹침 크기, 위치, 예측 수의 민감도를 도메인 특화로 조정할 수 있다.
• 모든 이상이 단일 포인트 범위이고 평탄한 편향이 사용될 경우 기존 정밀도 및 재현율로 축소되도록 후행 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 정밀도 및 재현율의 고전적 메트릭스는 시간 포인트 여러 개를 차지하는 범위 기반 이상 탐지를 평가하기 위해 어떻게 확장될 수 있는가?
• RQ2 겹침 크기, 이상 내 위치, 예측 기수성 등을 고려한 재현율 메트릭스의 핵심 구성 요소는 무엇인가?
• RQ3 예측의 전체 범위가 단일 포인트가 아니라 시간 간격으로 나타나는 상황에서 정밀도는 어떻게 재정의될 수 있는가?
• RQ4 새로운 메트릭스는 조기 탐지 또는 균일한 커버리지와 같은 도메인 특화 우선순위를 반영하기 위해 어떻게 사용자 정의될 수 있는가?
• RQ5 제안된 프레임워크는 고전적인 점 기반 메트릭스를 얼마나 잘 일반화하면서도 더 풍부한 이상 평가를 지원하는가?

주요 결과

• 제안된 $Recall_T$ 와 $Precision_T$ 메트릭스는 고전적 정밀도 및 재현율을 일반화하며, 이상이 단일 포인트 범위이고 평탄한 편향이 적용될 경우 기존 메트릭스로 축소된다.
• 기수성 요소 $\gamma(R_i, P)$ 의 포함으로 인해 단일 실제 이상을 여러 예측 범위로 나누는 시스템에 대해 보다 정확한 평가가 가능해져 평가의 정밀도가 향상된다.
• 위치 편향 함수 $\delta$ — 평탄한, 앞단, 뒷단 — 는 조기 또는 후기 탐지에 대한 도메인 특화 강조를 가능하게 하며, 암 검출 및 실시간 시스템에 대한 예시가 제시된다.
• 겹침 크기 함수 $\omega$ 는 정확히 예측된 실제 이상 비율에 따라 세밀한 보상을 제공하며, 값은 [0,1] 범위로 정규화된다.
• 공개된 검증은 회의 제약으로 인해 생략되었지만, 이 프레임워크는 다양한 응용 분야에 걸쳐 광범위하게 일반화되고 사용자 정의 가능한 구조를 지닌다.
• 독립적인 $\alpha$, $\beta$, $\gamma$, $\omega$, $\delta$ 의 조정을 통해 다차원적 사용자 정의가 가능하며, 도메인 특화 이상 탐지 우선순위와의 일치를 가능하게 한다.