[논문 리뷰] ADBench: Anomaly Detection Benchmark

Songqiao Han, Xiyang Hu외 3명|arXiv (Cornell University)|2022. 06. 19.

Anomaly Detection Techniques and Applications인용 수 15

한 줄 요약

ADBench는 다양한 감시 수준, 이상 유형 및 데이터 손상 조건 하에서 57개 데이터셋에서 30개 알고리즘을 평가하는 종합적인 이상 탐지 벤치마크입니다. 이는 감시 수준이 1%에 불과한 준감시 방법이 가장 우수한 무감시 방법을 능가하며, 알고리즘 선택이 데이터 특성과 사전 지식에 따라 크게 영향을 받음을 드러냅니다.

ABSTRACT

Given a long list of anomaly detection algorithms developed in the last few decades, how do they perform with regard to (i) varying levels of supervision, (ii) different types of anomalies, and (iii) noisy and corrupted data? In this work, we answer these key questions by conducting (to our best knowledge) the most comprehensive anomaly detection benchmark with 30 algorithms on 57 benchmark datasets, named ADBench. Our extensive experiments (98,436 in total) identify meaningful insights into the role of supervision and anomaly types, and unlock future directions for researchers in algorithm selection and design. With ADBench, researchers can easily conduct comprehensive and fair evaluations for newly proposed methods on the datasets (including our contributed ones from natural language and computer vision domains) against the existing baselines. To foster accessibility and reproducibility, we fully open-source ADBench and the corresponding results.

연구 동기 및 목표

• 다양한 감시 수준, 이상 유형 및 데이터 손상 시나리오를 포함하는 종합적이고 공정하며 재현 가능한 이상 탐지 평가 벤치마크의 부족을 해결하기 위해.
• 연구자들이 새로운 이상 탐지 방법을 기존 기준선과 공정하게 평가할 수 있도록 통합적이고 접근 가능하며 오픈소스 플랫폼을 제공하기 위해.
• 감시 가능성, 이상 유형 및 데이터 손상에 대한 강건성에 기반한 알고리즘 성능에 대한 핵심 통찰을 도출하기 위해.
• 모든 벤치마크 및 결과를 BSD-2 라이선스 하에 완전히 오픈소스화하여 이상 탐지 연구의 재현 가능성과 접근성을 향상시키기 위해.
• 감시 수준, 이상 특성 및 데이터 품질이 모델 성능에 미치는 영향을 경험적으로 분석함으로써 향후 알고리즘 설계를 안내하기 위해.

제안 방법

• 벤치마크는 14개의 무감시, 7개의 준감시, 9개의 감시 알고리즘을 포함한 30개 이상 탐지 알고리즘을 평가하며, 47개의 공개 데이터셋과 NLP 및 컴퓨터 비전 분야에서 새로 기여된 10개의 데이터셋을 포함한 57개의 데이터셋에서 실험을 수행합니다.
• 실험은 세 가지 핵심 평가 각도에서 수행됩니다: (1) 감시 수준의 다양성(무감시, 준감시, 감시), (2) 네 가지 유형의 시뮬레이션 이상(국소적, 전역적, 적대적, 개념 이탈), (3) 세 가지의 데이터 손상 설정(노이즈 있는 레이블, 관련 없는 특성, 손상된 특성).
• 성능는 AUC-ROC와 같은 표준 지표로 측정되며, 신뢰성 있는 비교를 위해 비모수적 검정을 사용하여 통계적 유의성을 테스트합니다.
• 정의된 표준 파이프라인을 통해 공정성과 재현 가능성을 확보하며, 일관된 데이터 분할, 하이퍼파rameter 튜닝 및 평가 프로토콜을 포함합니다.
• 결과는 체계적으로 집계되고 시각화되며, 각 데이터셋 및 알고리즘별 순위가 보고되어 다양한 방법 간 직접 비교가 가능합니다.
• 벤치마크 전체(코드, 데이터셋, 결과 포함)는 GitHub에 BSD-2 라이선스 하에 공개되어 커뮤니티의 사용 및 확장이 가능합니다.

실험 결과

연구 질문

• RQ1 이상 탐지 알고리즘이 다양한 감시 수준(무감시, 준감시, 감시)에서 어떻게 성능을 내는지, 그리고 최소한의 레이블링이 어떤 영향을 미치는지?
• RQ2 이상 유형(예: 국소적 대비 전역적)이 다양한 탐지 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ3 이상 탐지 알고리즘이 노이즈 있는 레이블 및 관련 없는 특성과 같은 데이터 손상에 얼마나 강건한가? 어떤 방법이 가장 안정적인가?
• RQ4 특정 알고리즘 가족이 통제된 환경에서 항상 다른 이들보다 뛰어나게 성능을 내는가? 어떤 데이터 특성에서 그들이 뛰어난 성능을 내는가?
• RQ5 실제 노이즈가 많은 환경에서 준감시 방법이 완전히 감시 또는 무감시 방법보다 더 높은 강건성과 성능을 달성할 수 있는가?

주요 결과

• 평가된 14개의 무감시 이상 탐지 알고리즘 중 어느 것도 통계적으로 유의미한 성능 우위를 보이지 않아, 알고리즘 선택이 데이터 맥락에 따라 매우 중요하다는 점을 강조합니다.
• 단지 1%의 레이블된 이상만으로도 대부분의 준감시 방법이 가장 우수한 무감시 방법을 능가하며, 이는 최소한의 감시가 탐지 성능 향상에 상당한 가치를 지닌다는 것을 입증합니다.
• 통제된 환경에서 특정 이상 유형(예: 국소적 이상)에 최적화된 최상의 무감시 방법이 준감시 및 감시 방법을 모두 능가하는 경우가 있었으며, 이는 알고리즘 선택이 데이터 특성과 이상 패턴과 정확히 일치해야 한다는 점을 시사합니다.
• 준감시 방법은 데이터 손상에 대해 뛰어난 강건성을 보였으며, 이는 레이블과 특성 선택 기능을 효율적으로 활용하기 때문일 것으로 추정되며, 이는 실세계 적용 가능성에 기여할 수 있음을 시사합니다.
• 벤치마크는 성능이 데이터셋 및 이상 유형에 따라 크게 달라지며, 어떤 한 알고리즘도 모든 설정에서 우월하게 작동하지는 않는다는 점을 드러냈습니다.
• 오픈소스화된 ADBench 프레임워크는 다양한 데이터 유형과 조건에서 다양한 기준선과의 공정하고 재현 가능하며 종합적인 평가를 새로운 이상 탐지 방법에 대해 가능하게 합니다.