[논문 리뷰] Linear-time Outlier Detection via Sensitivity

Mario Lučić, Olivier Bachem외 1명|arXiv (Cornell University)|2016. 05. 02.

Anomaly Detection Techniques and Applications참고 문헌 21인용 수 8

한 줄 요약

이 논문은 클러스터링 목적 함수에 대한 데이터 포인트의 영향의 최악의 경우 영향을 기반으로 선형 시간 이상 탐지 알고리즘을 제안한다. 영향력이라는 민감도의 계산 가능한 상한선을 통해, 이 방법은 높은 정확도와 빠른 속도를 달성하며, 최신 거리 기반 방법들을 능가하지만 특히 대규모 데이터 세트에서 수개의 주기보다 훨씬 더 빠르게 작동한다.

ABSTRACT

Outliers are ubiquitous in modern data sets. Distance-based techniques are a popular non-parametric approach to outlier detection as they require no prior assumptions on the data generating distribution and are simple to implement. Scaling these techniques to massive data sets without sacrificing accuracy is a challenging task. We propose a novel algorithm based on the intuition that outliers have a significant influence on the quality of divergence-based clustering solutions. We propose sensitivity - the worst-case impact of a data point on the clustering objective - as a measure of outlierness. We then prove that influence, a (non-trivial) upper-bound on the sensitivity, can be computed by a simple linear time algorithm. To scale beyond a single machine, we propose a communication efficient distributed algorithm. In an extensive experimental evaluation, we demonstrate the effectiveness and establish the statistical significance of the proposed approach. In particular, it outperforms the most popular distance-based approaches while being several orders of magnitude faster.

연구 동기 및 목표

• 거대한 데이터 세트에서 거리 기반 이상 탐지의 확장성 문제를 해결한다.
• 분포 가정에 의존하지 않는 비모수적이고 빠르며 정확한 이상 탐지 방법을 개발한다.
• 클러스터링 목표 함수에 대한 이상치의 영향력을 원칙적인 척도로 민감도를 도입한다.
• 민감도의 날카운 상한선인 영향력을 계산하는 선형 시간 알고리즘을 설계하여 효율적인 이상치 점수 계산을 가능하게 한다.
• 다양한 거리 함수와 데이터 분포에 대해 강건성을 확보한다.

제안 방법

• 민감도를 클러스터링 목적 함수에 대한 어떤 데이터 포인트의 최악의 영향으로 정의한다.
• 민감도의 계산 가능한 상한선인 영향력을 도입하며, 이는 무작위 표본 추출 절차를 사용해 선형 시간 내에 계산할 수 있다.
• 다양한 무작위 클러스터링에 대한 모델 평균을 통해 영향력 추정의 안정성과 정확도를 향상시킨다.
• 영향력 점수를 이상도 측정치로 적용하며, 높은 영향력은 높은 이상도를 의미한다.
• 단일 머신 환경을 넘어서 확장하기 위해 통신 효율적인 분산 알고리즘을 설계한다.
• 영향력은 전체 쌍방향 거리 계산 없이도 표본 추출을 통해 추정될 수 있다는 사실을 활용한다.

실험 결과

연구 질문

• RQ1 클러스터링 목표 함수에 대한 데이터 포인트의 최악의 영향으로 정의된 민감도가 이상치 영향력에 효과적이고 확장 가능한 척도가 될 수 있는가?
• RQ2 민감도의 계산 가능한 상한선인 영향력은 정확도를 희생시키지 않고 선형 시간 내에 계산될 수 있는가?
• RQ3 제안된 영향력 기반 방법은 KNN, LOF 및 클러스터링 기반 방법과 같은 기존의 거리 기반 이상 탐지 기법과 비교해 성능과 속도에서 어떻게 다른가?
• RQ4 정확도와 통신 효율성을 유지하면서 다수의 머신에 효율적으로 분산시킬 수 있는가?
• RQ5 다양한 거리 함수와 데이터 분포에 대해 이 방법은 여전히 강건한가?

주요 결과

• 제안된 영향력 기반 방법은 모든 경쟁 방법보다 통계적으로 유의미한 AUPRC 향상을 달성했으며, 최고 성능 기법과의 평균 제곱편차가 가장 낮았다.
• 실제 데이터 세트 13개 중 12개에서 전수 KNN 및 LOF를 능가하여 뛰어난 통계적 성능을 입증했다.
• GAUSS-1M 데이터 세트에서, 이 방법은 근사 KNN 대비 27배 빠르고, 근사 LOF 대비 40배 빨라졌다.
• KDDCUP-FULL 데이터 세트(490만 개 포인트)에서는 영향력 계산이 10분 이내에 완료되었고, 전수 방법은 24시간을 초과했다.
• 이 방법은 거리 함수의 선택에 대해 강건하며 다양한 데이터 분포와 차원성에서 높은 성능을 유지한다.
• MNIST에 대한 시각화 결과, 이 방법은 클러스터 간 이상치를 효과적으로 탐지하며 KNN, LOF 및 반복적 표본 추출 방법보다 더 의미 있는 이상 패턴을 식별하는 데 뛰어난 성능을 보였다.