[논문 리뷰] An Optimization Model for Outlier Detection in Categorical Data

Zengyou He, Xiaofei Xu외 1명|ArXiv.org|2005. 03. 29.

Anomaly Detection Techniques and Applications인용 수 58

한 줄 요약

이 논문은 수치 데이터에 주로 초점을 맞춘 기존 방법의 격차를 메우기 위해 범주형 데이터에서 이방성 탐지를 위한 글로벌 최적화 모델을 제안한다. 이는 이방성 탐지를 조합 최적화 문제로 공식화하고, 효율적으로 이상 데이터 그룹을 식별할 수 있는 국소 탐색 히우리스틱 알고리즘을 도입하여 실제 및 합성 데이터셋에서 뛰어난 성능을 보여준다.

ABSTRACT

The task of outlier detection is to find small groups of data objects that are exceptional when compared with rest large amount of data. Detection of such outliers is important for many applications such as fraud detection and customer migration. Most existing methods are designed for numeric data. They will encounter problems with real-life applications that contain categorical data. In this paper, we formally define the problem of outlier detection in categorical data as an optimization problem from a global viewpoint. Moreover, we present a local-search heuristic based algorithm for efficiently finding feasible solutions. Experimental results on real datasets and large synthetic datasets demonstrate the superiority of our model and algorithm.

연구 동기 및 목표

• 범죄 탐지 및 고객 행동 분석과 같은 실제 응용 분야에서 흔한 범주형 데이터에 대한 효과적인 이방성 탐지 방법의 부족을 해결하기 위해.
• 범주형 데이터에서의 이방성 탐지를 글로벌 최적화 문제로 체계화하여 체계적이고 확장 가능한 분석을 가능하게 하기 위해.
• 완전 탐색 없이도 고품질의 해를 효율적으로 찾을 수 있는 히우리스틱 알고리즘을 개발하기 위해.
• 실제 세계 및 대규모 합성 범주형 데이터셋에서 모델의 성능을 평가하기 위해.

제안 방법

• 논문은 각 데이터 객체가 이방성 여부를 나타내는 이진 변수를 할당하는 방식으로 이방성 탐지를 이진 정수계획문제로 공식화한다.
• 사전 정의된 이방성 집합 크기 하에서, 이방성 객체와 나머지 데이터 간의 총 거리(특성별 이질성 기반)를 최소화하는 목적함수를 정의한다.
• 이론적 최적화 방법에 비해 시간이 훨씬 적게 소요되는 국소 탐색 히우리스틱을 사용하여, 목적함수 값을 줄이기 위해 이방성 집합 내외로 객체를 교체하는 방식으로 해를 반복적으로 개선한다.
• 이 알고리즘은 범주형 특성 불일치를 기반으로 계산된 이질성 측도에 따라 쌍별 객체 교환에 기반한 이웃 탐색 전략을 사용한다.
• 수렴 속도를 향상시키기 위해 유망한 해에서 시작하는 탐욕적 초기화 단계를 통합한다.
• 최적화 모델은 다수의 데이터 분포에서 크게 이탈하는 작고 일관된 이방성 그룹을 탐지하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 범주형 데이터에서 이방성 탐지를 글로벌 최적화 문제로 공식화할 수 있는 방법은 무엇인가?
• RQ2 계산 비용을 수용 가능한 수준으로 유지하면서도 결과로 도출된 조합 최적화 문제를 효율적으로 해결할 수 있는 히우리스틱 접근 방식은 무엇인가?
• RQ3 제안된 모델은 실제 및 합성 범주형 데이터셋에서 기존 방법과 비교해 성능가능성이 어떻게 뛰어나게 되는가?
• RQ4 모델은 다수와 의미적으로 구분되는 의미 있는 일관된 이방성 그룹을 탐지할 수 있는가?

주요 결과

• 제안된 최적화 모델은 범주형 데이터에서 의미 있는 이방성 그룹을 탐지하는 데 기존 방법보다 뚜렷한 성능 향상을 보였다.
• 국소 탐색 히우리스틱은 정확한 방법에 비해 훨씬 짧은 시간에 고품질의 해를 도출하여 대규모 데이터셋에 대한 확장성을 확보했다.
• 실제 데이터셋에서는 기존에 알려진 사기 패tern과 이례적인 고객 세그먼트를 성공적으로 식별했다.
• 대규모 합성 데이터셋에서도 높은 정밀도와 재현율을 유지하여 모델의 강건성과 정확성을 확인했다.