[논문 리뷰] A Revealing Large-Scale Evaluation of Unsupervised Anomaly Detection Algorithms

Maxime Alvarez, Jean-Charles Verdier외 4명|arXiv (Cornell University)|2022. 04. 21.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 논문은 12개의 방법을 다섯 개인 표본 데이터셋에 적용한 표준화되고 재현 가능한 평가 프로토콜을 제안한다. 이는 이전 평가가 데이터 분할, 평가 지표, 하이퍼파rameter 설정의 차이로 인해 일관성 없었음을 드러내며, CSE-CIC-IDS2018과 같은 도전적인 데이터셋에서 DAE와 같은 단순한 모델이 더 복잡한 모델보다 성능이 뛰어나다는 것을 발견한다. DROCC와 DeepSVDD는 데이터 분포 및 클래스 불균형 문제로 인해 성능이 떨어진다.

ABSTRACT

Anomaly detection has many applications ranging from bank-fraud detection and cyber-threat detection to equipment maintenance and health monitoring. However, choosing a suitable algorithm for a given application remains a challenging design decision, often informed by the literature on anomaly detection algorithms. We extensively reviewed twelve of the most popular unsupervised anomaly detection methods. We observed that, so far, they have been compared using inconsistent protocols - the choice of the class of interest or the positive class, the split of training and test data, and the choice of hyperparameters - leading to ambiguous evaluations. This observation led us to define a coherent evaluation protocol which we then used to produce an updated and more precise picture of the relative performance of the twelve methods on five widely used tabular datasets. While our evaluation cannot pinpoint a method that outperforms all the others on all datasets, it identifies those that stand out and revise misconceived knowledge about their relative performances.

연구 동기 및 목표

• 이전 비지도 이상 탐지 연구에서 사용된 평가 프로토콜의 일관성 문제를 식별하고 해결하기 위해.
• 12개의 인기 있는 비지도 이상 탐지 알고리즘을 비교하기 위한 공정하고 재현 가능한 벤치마크를 확립하기 위해.
• 일致한 데이터 분할, 평가 지표, 하이퍼파ram터 튜닝을 사용하여 이러한 방법들의 상대적 성능을 재평가하기 위해.
• 딥러닝 및 복구 기반 모델에 대한 성능에 대한 오해를 도전하기 위해.
• 통일된 프로토콜을 통해 향후 머신러닝 평가의 투명성과 신뢰성을 향상시키기 위해.

제안 방법

• 정상 데이터만으로 훈련하고 테스트 세트에 모든 이상치를 포함시켜 데이터 泄露와 편향을 제거하는 일관된 평가 프로토콜을 제안한다.
• 모든 모델에 대해 최적의 F1 점수 기준 임계값을 표준화하여 공정한 비교를 보장한다.
• 주요 평가 지표로 정밀도, 재현도, F1 점수, AUPR를 사용하며, 클래스 불균형 문제를 고려해 AUROC보다 AUPR를 권장한다.
• 모든 모델에 동일한 하이퍼파ram터 검색 범위와 난수 시드를 적용하여 재현성과 공정성을 확보한다.
• 평가에 사용된 다섯 가지 널리 사용되는 표본 데이터셋: KDDCUP, NSL-KDD, CSE-CIC-IDS2018, Arrhythmia, Thyroid.
• 성능 해석의 왜곡을 방지하기 위해 양성 클래스를 소수의 이상 클래스로 고정한다.

실험 결과

연구 질문

• RQ1 이전 연구에서 일관성 없는 평가 프로토콜이 비지도 이상 탐지 알고리즘의 보고된 성능에 어떤 영향을 미치는가?
• RQ2 다양한 표본 데이터셋에서 표준화되고 공정한 평가 프로토콜을 적용했을 때 어떤 비지도 이상 탐지 방법이 가장 우수한 성능을 보이는가?
• RQ3 왜 일부 복잡한 모델, 예를 들어 DROCC와 DeepSVDD는 실제 도전적인 데이터셋에서 DAE와 같은 단순한 기반 모델보다 성능이 열 劣하는가?
• RQ4 AUROC와 AUPR 지표가 성능 평가에서 얼마나 다를 수 있으며, 이상 탐지에 있어 어느 것이 더 유용한가?
• RQ5 일致한 평가 프로토콜이 기존에 간과되었던 기존 이상 탐지 방법의 강점이나 약점을 드러낼 수 있는가?

주요 결과

• 기본 오토인코더(DAE)는 CSE-CIC-IDS2018 데이터셋에서 DAGMM 및 MemAE와 같은 더 복잡한 복구 기반 모델보다 높은 F1 점수를 기록함으로써 단순함에도 불구하고 뛰어난 성능을 보였다.
• DROCC는 CSE-CIC-IDS2018에서 높은 재현도(0.996)를 기록했지만 정밀도는 낮은 0.296로, 높은 거짓 양성 비율을 보이며 이는 오직 F1 점수만을 보고할 경우 가려질 수 있다.
• AUPR 지표는 CSE-CIC-IDS2018에서 AUROC 대비 10퍼센트 이상 감소함을 보여주며, 클래스 불균형 상황에서 AUROC가 지나치게 낙관적인 성능 평가를 유도할 수 있음을 시사한다.
• KDD와 NSL-KDD는 대부분의 모델이 F1 점수 0.90 이상을 기록함으로써 너무 단순한 데이터셋으로 간주되며, 모델 성능을 구분하는 데에는 부적절하다.
• 변환 기반 방법인 NeuTraLAD는 모든 데이터셋에서 일관되게 평균 이상의 성능을 기록했으며, 특히 소규모 데이터에서 데이터 증강 기법을 통해 유의미한 성능 향상을 보였다.
• DeepSVDD 및 기타 일종 분류 모델은 CSE-CIC-IDS2018에서 높은 내부 클래스 변동성과 대규모 데이터로 인해 성능이 열 劣하며, 이는 복잡한 분포 하에서 일반화 능력에 한계가 있음을 시사한다.