[논문 리뷰] Estimating the Contamination Factor's Distribution in Unsupervised Anomaly Detection

Lorenzo Perini, Paul Buerkner외 1명|arXiv (Cornell University)|2022. 10. 19.

Anomaly Detection Techniques and Applications인용 수 9

한 줄 요약

이 논문은 비지도 이상 탐지에서 오염도 요인 $\gamma$의 사후 분포를 추정하는 데 있어 최초의 베이지안 방법인 $\gamma$GMM을 제안한다. 여러 이상 탐지기들을 활용해 점수 기반 표현을 생성하고, 디리클레 과정 가우시안 혼합 모델(DPGMM)을 적합시켜 가장 극단적인 성분들이 이상임 확률을 추정함으로써, 불확실성 인식 기반의 임계값 설정이 가능해지며, 이는 21개의 베이스라인보다 탐지 정확도에서 뛰어난 성능을 보인다.

ABSTRACT

Anomaly detection methods identify examples that do not follow the expected behaviour, typically in an unsupervised fashion, by assigning real-valued anomaly scores to the examples based on various heuristics. These scores need to be transformed into actual predictions by thresholding, so that the proportion of examples marked as anomalies equals the expected proportion of anomalies, called contamination factor. Unfortunately, there are no good methods for estimating the contamination factor itself. We address this need from a Bayesian perspective, introducing a method for estimating the posterior distribution of the contamination factor of a given unlabeled dataset. We leverage on outputs of several anomaly detectors as a representation that already captures the basic notion of anomalousness and estimate the contamination using a specific mixture formulation. Empirically on 22 datasets, we show that the estimated distribution is well-calibrated and that setting the threshold using the posterior mean improves the anomaly detectors' performance over several alternative methods. All code is publicly available for full reproducibility.

연구 동기 및 목표

• 비지도 이상 탐지에서 오염도 요인 $\gamma$를 추정할 수 있는 방법의 부재를 해결하기 위해, 실용적 구현에서 간과되기 쉬운 중요한 과제를 해결한다.
• 라벨이 없을 때도 불확실성 정량화가 가능한, 오염도 요인 추정을 베이지안 추론 문제로 재정의한다.
• 임계값 설정에 사용할 수 있는 잘 校정된 $\gamma$의 사후 분포를 생성하는 방법을 개발한다.
• 오염도 요인 $\gamma$의 사후 평균을 사용해 강력하고 불확실성 인식 기반의 임계값으로 전환함으로써 이상 탐지 성능을 향상시킨다.
• 불확실성 인식 기반의 임계값 설정이 기존의 히وري스틱 또는 점추정 방법보다 더 높은 탐지 정확도를 달성함을 입증한다.

제안 방법

• 다양한 비지도 이상 탐지기들을 사용해 원시 데이터를 점수 공간으로 변환하여 이방성의 고수준 표현을 생성한다.
• 점수 공간에 디리클레 과정 사전분포를 가진 베이지안 가우시안 혼합 모델(DPGMM)을 적합시켜 이방성 점수의 기저 분포를 모델링한다.
• 점수 공간에서의 극단성에 따라 혼합 성분을 정렬하며, 평균 점수가 높고 분산이 낮은 성분을 우선순위로 한다.
• 두 개의 파rameter 변환($p_0$ 및 $p_{\text{high}}$ 기반)을 사용해 $k$개의 가장 극단적인 성분이 동시에 이상임 확률을 추정한다.
• 성분 할당에 대해 최적화된 가장 극단적인 성분들의 가중치 합으로 오염도 요인 $\gamma$의 사후 분포를 구성한다.
• 오염도 요인 $\gamma$의 사후 평균을 사용해 이방성 점수를 이산 예측으로 변환하는 임계값으로 활용함으로써 탐지 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 라벨이 없는 비지도 환경에서 오염도 요인 $\gamma$의 사후 분포를 추정할 수 있는가?
• RQ2 오염도 요인 $\gamma$ 추정의 불확실성이 임계값 설정 및 탐지 성능 향상으로 얼마나 잘 전이되는가?
• RQ3 모델이 $p_0$ 및 $p_{\text{high}}$의 초모수 변화에 대해 얼마나 강인한가?
• RQ4 다양한 실제 데이터셋에서 오염도 요인 $\gamma$의 사후 분포가 잘 校정되어 있는가?
• RQ5 오염도 요인 $\gamma$의 사후 평균을 임계값으로 사용할 경우, 기존의 표준 추정기보다 탐지 정확도가 향상되는가?

주요 결과

• $\gamma$GMM가 추정한 오염도 요인 $\gamma$의 사후 평균은 22개의 벤치마크 데이터셋에서 21개의 베이스라인보다 탐지 정확도에서 뛰어난 성능을 보였다.
• 모델은 거의 완벽한 校정을 달성했으며, 다양한 데이터셋에서 경험적 빈도가 기대 확률과 매우 유사하게 일치했다.
• 오염도 요인 $\gamma$의 사후 분포는 종종 넓고 다중모달적이라, 오염도 추정에 존재하는 진정한 불확실성을 반영하고 있었다.
• 모델은 초모수 선택에 대해 강인했다: $p_0$는 영향이 거의 없었고, $p_{\text{high}}$는 校정에 약간의 영향을 주었지만 성능에선 영향을 주지 않았다.
• 모든 초모수 변형에서 $\gamma$GMM의 사후 평균 추정치의 평균 절대 오차(MAE)는 0.252(최고)에서 0.32(최악) 사이로 유지되어 일관된 성능을 보였다.
• 사후 평균을 임계값으로 사용할 경우, 고정 임계값이나 MTT, IQR 등의 통계 추정기보다 탐지 정확도가 유의미하게 향상되었다.