[논문 리뷰] A Large-scale Study on Unsupervised Outlier Model Selection: Do Internal Strategies Suffice?

Quintín Martín Martín, Yue Zhao외 2명|arXiv (Cornell University)|2021. 04. 03.

Anomaly Detection Techniques and Applications참고 문헌 38인용 수 5

한 줄 요약

이 논문은 297개의 모델과 39개의 실세계 데이터셋을 대상으로 비지도 이상치 모델 선택(UOMS)에 대한 대규모 실험 연구를 수행한다. 내부 평가 전략 7종(독립형 및 공감 기반)을 평가하며, 공감 기반 방법이 무작위 선택보다 우수하나, 무작위 초모수를 가진 단일 iForest 모델의 성능을 뛰어나지 못함을 발견하여 UOMS 기법의 향상 여지가 크다는 것을 드러낸다.

ABSTRACT

Given an unsupervised outlier detection task, how should one select a detection algorithm as well as its hyperparameters (jointly called a model)? Unsupervised model selection is notoriously difficult, in the absence of hold-out validation data with ground-truth labels. Therefore, the problem is vastly understudied. In this work, we study the feasibility of employing internal model evaluation strategies for selecting a model for outlier detection. These so-called internal strategies solely rely on the input data (without labels) and the output (outlier scores) of the candidate models. We setup (and open-source) a large testbed with 39 detection tasks and 297 candidate models comprised of 8 detectors and various hyperparameter configurations. We evaluate 7 different strategies on their ability to discriminate between models w.r.t. detection performance, without using any labels. Our study reveals room for progress -- we find that none would be practically useful, as they select models only comparable to a state-of-the-art detector (with random configuration).

연구 동기 및 목표

• 지표가 없는 비지도 모델 평가 전략이 이상치 탐지 모델을 선택하는 데 얼마나 효과적인지 평가하기 위해.
• 기존의 UOMS 방법이 무작위 선택 또는 최첨단 탐지기보다 나은 모델을 신뢰성 있게 선택할 수 있는지 확인하기 위해.
• 통합된 대규모 벤치마크에서 독립형 및 공감 기반 접근 방식을 포함한 다양한 내부 전략을 체계적으로 비교하기 위해.
• 현재 UOMS 기법의 한계를 폭 드러내고 메타학습 및 공감 기반 모델 선택 분야의 향후 연구를 촉진하기 위해.
• 297개의 모델과 39개의 데이터셋을 포함한 대규모 오픈소스 테스트베드를 공개하여 비지도 모델 선택 분야의 향후 연구를 가속화하기 위해.

제안 방법

• 공개 저장소에서 확보한 39개의 실세계 데이터셋에 대해 8종의 최첨단 이상치 탐지기와 297개의 초모수 설정을 포함하는 대규모 테스트베드를 구축하였다.
• 7종의 내부 모델 선택 전략을 평가: 기존의 3종의 UOMS 방법(IREOS, EM/MV, UDR), 딥 표현 학습 기법 2종(Duan 등, 2020; Lin 등, 2020), 그리고 진실 탐지 및 앙상블 학습에서 영감을 얻은 새로운 공감 기반 방법 2종(MC, HITS, Ens, MC_S).
• 모델 선택 성능을 비교하기 위해 대응된 통계적 검정(Wilcoxon signed-rank)을 사용하였으며, 평가 지표로는 AUC-PR, AUC-ROC, AP를 사용하였다.
• 모델 풀 내의 예측을 통합하여 일치 패턴을 활용해 모델 순위를 매기는 공감 기반 방법을 적용하였다.
• 특히 IREOS 및 MC와 같은 계산 비용이 큰 방법의 효율성을 평가하기 위해 실행 시간을 측정하였다.
• 초기에는 커뮤니티 설문조사 및 진실 탐지에서 사용된 알고리즘(예: NDCG 기반 순위 매기기, HITS, 앙상블 가짜 가능성)을 UOMS에 재사용 및 변형하였다.

실험 결과

연구 질문

• RQ1 기존의 내부 모델 평가 전략이 UOMS에서 무작위 선택 및 최첨단 탐지기보다 나은 모델을 안정적으로 선택할 수 있는가?
• RQ2 다양한 모델 간 일치를 활용하는 공감 기반 모델 선택 전략이 비지도 이상치 모델 선택에서 독립형 방법보다 유의미하게 뛰어나게 성능을 높이는가?
• RQ3 선택된 모델의 성능가지 iForest 모델(무작위 초모수)과 비교해 보면 어떻게 되는가?
• RQ4 다양한 UOMS 전략의 계산 비용은 어떠한가? 빠른 방법들인 HITS 및 Ens는 정확도를 희생시키지 않고도 경쟁 가능한 성능을 달성하는가?
• RQ5 모든 UOMS 방법이 선택한 최고 성능 모델과 각 데이터셋의 실제 최고 성능 모델 사이에 유의미한 성능 격차가 존재하는가?

주요 결과

• 이상치 탐지에 특화된 세 가지 기존 UOMS 방법(IREOS, EM/MV, UDR)은 모두 무작위 선택보다 유의미하게 뛰어나지 않아 실용적 비효율성을 드러내었다.
• 모든 공감 기반 UOMS 방법(MC, HITS, Ens, MC_S)은 무작위 선택보다 유의미하게 뛰어나지만, iForest 모델(무작위 초모수)과 통계적으로 유의미한 차이가 없었다.
• 공감 기반 방법의 성능은 iForest-r과 유사했으며, 데이터셋 간 성능 차이가 주로 0 근처에 집중되어 있어 단일 iForest 모델에 비해 의미 있는 향상이 없다는 것을 시사했다.
• IREOS만이 무작위 선택보다 뚜렷하게 뛰어나지만, 이 성능 향상은 극도로 높은 계산 비용을 수반했으며, 가장 큰 데이터셋(ALOI)에서 16일 이상 소요되었다.
• MC는 계산 비용이 높았고(모델 수에 대해 제곱형), 반면 HITS, Ens, MC_S는 ALOI에서 10분 이내로 매우 빠르면서도 경쟁력 있는 성능을 보여, 실용적인 후보로 적합했다.
• 본 연구는 각 데이터셋의 최고 성능 모델과 UOMS 방법이 선택한 최고 성능 모델 사이에 상당한 성능 격차가 존재함을 드러내어, 비지도 모델 선택 분야의 향후 개선 여지를 명확히 하였다.