[논문 리뷰] How to Evaluate the Quality of Unsupervised Anomaly Detection Algorithms?

Nicolas Goix|arXiv (Cornell University)|2016. 07. 05.

Anomaly Detection Techniques and Applications인용 수 33

한 줄 요약

이 논문은 특성 부분 표본 추출 및 집계를 통해 고차원 데이터에 적응하는 방식으로 초과 질량(Excess-Mass, EM) 및 질량-체적(Mass-Volume, MV) 곡선을 활용해 레이블이 없는 비지도 이상 탐지 평가 기준을 제안한다. 36개의 알고리즘 비교에서 기존 ROC 및 PR AUC 순위와 약 80%의 일치도를 보이며, 레이블 데이터 없이도 높은 신뢰성을 확보함을 입증한다.

ABSTRACT

When sufficient labeled data are available, classical criteria based on Receiver Operating Characteristic (ROC) or Precision-Recall (PR) curves can be used to compare the performance of un-supervised anomaly detection algorithms. However , in many situations, few or no data are labeled. This calls for alternative criteria one can compute on non-labeled data. In this paper, two criteria that do not require labels are empirically shown to discriminate accurately (w.r.t. ROC or PR based criteria) between algorithms. These criteria are based on existing Excess-Mass (EM) and Mass-Volume (MV) curves, which generally cannot be well estimated in large dimension. A methodology based on feature sub-sampling and aggregating is also described and tested, extending the use of these criteria to high-dimensional datasets and solving major drawbacks inherent to standard EM and MV curves.

연구 동기 및 목표

• 레이블 데이터가 없을 경우 비지도 이상 탐지에 대한 신뢰할 수 있는 평가 기준이 부족한 문제를 해결하기 위해.
• ROC 및 PR 곡선으로 측정된 이상 탐지 알고리즘의 순위를 유지하는 레이블 없는 성능 지표를 개발하기 위해.
• 표준 추정이 실패하는 고차원 데이터셋에 대해 EM 및 MV 곡선의 적용 가능성을 확장하기 위해.
• 실제 데이터셋에서 기존의 ROC 및 PR AUC 기준과 비교하여 제안된 평가 기준의 타당성을 검증하기 위해.
• 레이블링이 제한된 산업 현장에서 이상 탐지 알고리즘 평가를 위한 확장성 있고 유연한 방법론을 제공하기 위해.

제안 방법

• 평가 기준으로서의 초과 질량(EM) 및 질량-체적(MV) 곡선을 제안하며, 이는 점수 함수의 증가 변환에 대해 불변성을 가지는 레이블 없는 평가 기준이다.
• 차원의 극복(curse of dimensionality)을 극복하기 위해 고차원 데이터에서 EM 및 MV 곡선을 추정하기 위한 특성 부분 표본 추출 및 집계 전략을 도입한다.
• 알고리즘 1을 활용해 반복적으로 특성 부분집합(m=50, d'=5 등)을 표본 추출하고, 각 부분집합에서 EM/MV 점수를 계산한 후 결과를 집계하여 최종 평가를 수행한다.
• EM 및 MV 곡선 기반의 수치 기준을 정의하기 위해 경험적 리스크 최소화 원리를 활용하여 알고리즘 간 비교를 위한 기준을 설정한다.
• 레이블이 있는 실제 데이터셋에 이 방법론을 적용하여 ROC 및 PR AUC와의 성능을 비교하며, EM/MV 평가 시 레이블을 숨긴 채로 처리한다.
• 실제로 12개의 데이터셋(예: adult, pima, spambase)을 대상으로 신규성 및 비지도 탐지 프레임워크 모두에서 방법론을 검증한다.

실험 결과

연구 질문

• RQ1 EM 및 MV 곡선은 ROC 및 PR AUC와 비교해 비지도 이상 탐지 알고리즘 평가에 있어 신뢰할 수 있는 레이블 없는 대안이 될 수 있는가?
• RQ2 표준 추정이 실패하는 고차원 데이터에 대해 EM 및 MV 곡선은 어떻게 적응시킬 수 있는가?
• RQ3 EM 및 MV 점수는 실제 데이터셋에서 ROC 및 PR AUC로 확립된 알고리즘 순위를 어느 정도 회복하는가?
• RQ4 특성 부분 표본 추출 및 집계는 고차원에서의 EM 및 MV 곡선 추정의 안정성과 정확도를 향상시키는가?
• RQ5 복잡한 이상 구조 또는 저차원 지지 집합을 가진 데이터셋에서 EM 및 MV 기준은 어떻게 성능을 발휘하는가?

주요 결과

• ROC AUC와 비교했을 때 EM 기반 기준은 36개 비교 중 28개(78%)에서 알고리즘 쌍의 순위를 정확히 정렬하며, PR AUC와 비교했을 때는 29개(81%)에서 정확한 순위를 유지한다.
• MV 기반 기준은 전반적인 36개의 쌍 비교에서 ROC AUC와 75%의 일치도를 보이며, PR AUC와는 72%의 일치도를 기록한다. 특히 ROC 및 PR 모두에서 일관되게 순서가 정해진 쌍들에 대해서는 76%의 일치도를 기록한다.
• EM 기준은 와이트와 쇼틀러를 제외한 모든 데이터셋에서 세 개의 알고리즘(iForest, LOF, OCSVM)의 전체 순위를 정확히 복원한다. 이 두 데이터셋에서는 AUC 값이 매우 유사하여 순위 정확도가 떨어진다.
• MV 기준은 EM 기준에 비해 오직 한 번의 추가 오류만을 기록하며, 특히 고차원 데이터셋에서 유사한 성능을 보인다.
• 쇼틀러 데이터셋에서는 EM 및 MV 기준 모두 정확도가 낮아 보이며, 이는 ROC AUC 값이 매우 유사하기 때문일 수 있다(0.996, 0.992, 0.999) — 이로 인해 알고리즘 간 구분이 어려워진다.
• 특성 부분 표본 추출 방법은 고차원 환경에서 신뢰할 수 있는 EM 및 MV 추정을 가능하게 하며, m=50 및 d'=5는 균형 잡힌 기본 설정으로서 효과적이다.