[논문 리뷰] A Unified Subspace Outlier Ensemble Framework for Outlier Detection in High Dimensional Spaces

Zengyou He, Xiaofei Xu외 1명|ArXiv.org|2005. 05. 24.

Anomaly Detection Techniques and Applications인용 수 3

한 줄 요약

이 논문은 고차원 이상 탐지에 대한 통합된 부분공간 이상치 앙상블 프레임워크를 제안하며, 앙상블 학습을 통해 부분공간별 특성의 융합으로 이상치 점수를 모델링한다. SOE1 알고리즘은 단지 1차원 부분공간을 사용함으로써 기존 방법보다 최대 한 단계 빠르면서도 최신 기술 수준의 이상 탐지 성능을 달성한다.

ABSTRACT

The task of outlier detection is to find small groups of data objects that are exceptional when compared with rest large amount of data. Detection of such outliers is important for many applications such as fraud detection and customer migration. Most such applications are high dimensional domains in which the data may contain hundreds of dimensions. However, the outlier detection problem itself is not well defined and none of the existing definitions are widely accepted, especially in high dimensional space. In this paper, our first contribution is to propose a unified framework for outlier detection in high dimensional spaces from an ensemble-learning viewpoint. In our new framework, the outlying-ness of each data object is measured by fusing outlier factors in different subspaces using a combination function. Accordingly, we show that all existing researches on outlier detection can be regarded as special cases in the unified framework with respect to the set of subspaces considered and the type of combination function used. In addition, to demonstrate the usefulness of the ensemble-learning based outlier detection framework, we developed a very simple and fast algorithm, namely SOE1 (Subspace Outlier Ensemble using 1-dimensional Subspaces) in which only subspaces with one dimension is used for mining outliers from large categorical datasets. The SOE1 algorithm needs only two scans over the dataset and hence is very appealing in real data mining applications. Experimental results on real datasets and large synthetic datasets show that: (1) SOE1 has comparable performance with respect to those state-of-art outlier detection algorithms on identifying true outliers and (2) SOE1 can be an order of magnitude faster than one of the fastest outlier detection algorithms known so far.

연구 동기 및 목표

• 고차원 공간에서 이상 탐지에 대한 널리 수용된 정의가 부족한 문제를 해결하기 위해.
• 기존의 이상 탐지 방법들을 하나의 앙상블 학습 프레임워크로 통합하기 위해.
• 최소한의 부분공간 차원을 사용하여 대규모 고카디널리티 데이터셋에 적합한 빠르고 확장 가능한 알고리즘 개발을 위해.
• 부분공간 기반의 앙상블 방법이 계산 비용을 크게 줄이며도 높은 정확도를 달성할 수 있음을 보여주기 위해.

제안 방법

• 프레임워크는 다수의 부분공간에서 계산된 이상치 요인들의 조합으로 이상치 점수를 정의한다.
• 다양한 부분공간의 이상치 점수를 융합하기 위한 조합 함수를 활용하여 기존 방법들을 통합적으로 다룰 수 있도록 한다.
• SOE1 알고리즘은 부분공간을 오직 1차원으로 제한하여 계산을 단순화하고 I/O 오버헤드를 줄인다.
• SOE1은 데이터셋을 총 두 번만 완전 스캔하므로 대규모 데이터 마이닝에 매우 효율적이다.
• 이상 탐지는 1차원 부분공간에서의 빈도 기반 이상치 요인에 기반하며, 조합 함수를 통해 집계된다.
• 부분공간의 집합과 조합 함수를 다양하게 설정함으로써 기존 방법들을 특수 케이스로 일반화한다.

실험 결과

연구 질문

• RQ1 어떻게 통합 프레임워크 하에서 고차원 공간의 이상 탐지를 체계화할 수 있는가?
• RQ2 부분공간 기반 앙상블 학습이 탐지 정확도와 효율성을 향상시킬 수 있는가?
• RQ3 오직 1차원 부분공간을 사용할 경우 정확도와 속도 사이의 성능 트레이드오프는 어떠한가?
• RQ4 제안된 프레임워크는 기존의 이상 탐지 알고리즘과 어떤 관계가 있으며 어떻게 일반화하는가?

주요 결과

• SOE1은 실제 및 시뮬레이션 데이터셋에서 최신 기술 수준의 알고리즘과 비교해 유사한 이상 탐지 성능을 달성한다.
• SOE1은 기존의 가장 빠른 이상 탐지 알고리즘 중 하나보다 최대 한 단계 빠르다.
• 통합 프레임워크는 부분공간 선택 및 조합 함수를 변화시킴으로써 모든 기존 이상 탐지 방법을 특수 케이스로 수용한다.
• SOE1에서 1차원 부분공간을 사용함으로써 대규모 데이터 마이닝에 적합한 매우 효율적인 이중 스캔 알고리즘이 가능해진다.