[논문 리뷰] A Fast Greedy Algorithm for Outlier Mining

Zengyou He, Xiaofei Xu외 1명|ArXiv.org|2005. 07. 27.

Anomaly Detection Techniques and Applications인용 수 15

한 줄 요약

이 논문은 범주형 데이터에서 이상치 탐지에 대한 빠른 그리디 알고리즘을 제안하며, 기존의 국소 탐색 히우리스틱(LSA)에 비해 시간 효율성을 크게 향상시키면서도 유사한 이상치 탐지 정확도를 유지한다. 최적화 모델을 그레디 선택 과정으로 재구성함으로써, 대규모 데이터셋에서 정확도를 희생시키지 않고 최대 10배의 속도 향상을 달성한다.

ABSTRACT

The task of outlier detection is to find small groups of data objects that are exceptional when compared with rest large amount of data. In [38], the problem of outlier detection in categorical data is defined as an optimization problem and a local-search heuristic based algorithm (LSA) is presented. However, as is the case with most iterative type algorithms, the LSA algorithm is still very time-consuming on very large datasets. In this paper, we present a very fast greedy algorithm for mining outliers under the same optimization model. Experimental results on real datasets and large synthetic datasets show that: (1) Our algorithm has comparable performance with respect to those state-of-art outlier detection algorithms on identifying true outliers and (2) Our algorithm can be an order of magnitude faster than LSA algorithm.

연구 동기 및 목표

• 대규모 범주형 데이터셋에서 기존 반복적 이상치 탐지 알고리즘의 높은 계산 비용을 해결하기 위해.
• 실행 시간을 극적으로 줄이면서도 높은 탐지 정확도를 유지하는 확장 가능한 이상치 탐지 솔루션을 개발하기 위해.
• LSA와 동일한 수학적 모델을 기반으로 하되, 반복적 국소 탐색 대신 그레디 접근 방식을 사용하여 이상치 탐지 과정을 최적화하기 위해.
• 제안된 알고리즘의 성능과 효율성을 실제 및 대규모 합성 데이터셋에서 평가하기 위해.

제안 방법

• 알고리즘은 이상치 탐지 문제를 그레디 최적화 과제로 재구성하여, 점수 함수에 기반해 이상치 집합에 하나씩 튜플을 추가한다.
• 새로운 튜플을 이상치 집합에 추가했을 때 목적 함수의 향상 정도를 빠르게 평가하는 메커니즘을 사용한다.
• 최적화 목표 함수의 향상을 최대화하는 튜플을 반복적으로 추가함으로써 빠른 수렴을 보장한다.
• 그레디 선택은 LSA의 비용이 많이 드는 국소 탐색 단계를 피함으로써 시간 복잡도를 크게 감소시킨다.
• 알고리즘은 LSA와 동일한 최적화 모델을 기반으로 하여 이상치 품질의 일관성을 확보한다.
• 각 반복 과정에서 후보 튜플 점수 계산을 가속화하기 위해 데이터 구조 최적화를 활용한다.

실험 결과

연구 질문

• RQ1 그레디 접근 방식은 LSA 알고리즘과 유사한 이상치 탐지 정확도를 달성하면서도 훨씬 더 빠른가?
• RQ2 기존 반복적 방법과 비교해 제안된 알고리즘이 데이터셋 크기가 증가함에 따라 어떻게 스케일링되는가?
• RQ3 대규모 데이터셋에서 그레디 알고리즘을 사용할 경우 실행 시간에서의 성능 향상은 어느 정도인가?
• RQ4 그레디 선택 전략은 다양한 범주형 데이터 분포에서 탐지된 이상치의 품질을 유지하는가?

주요 결과

• 제안된 그레디 알고리즘은 진정한 이상치를 식별하는 데 있어 최신 기술 수준의 알고리즘과 유사한 이상치 탐지 성능을 달성한다.
• 대규모 합성 데이터셋에서 알고리즘은 LSA 알고리즘 대비 최대 10배 빠르게 실행된다.
• 수백만 개의 튜플을 포함한 데이터셋을 처리할 때에도 높은 정확도를 유지한다.
• 그레디 선택 과정은 반복적 국소 탐색보다 더 빠른 수렴을 가능하게 하여 정확도를 희생시키지 않고 실행 시간을 감소시킨다.