[논문 리뷰] Robust Outlier Detection Technique in Data Mining: A Univariate Approach

Vijendra Singh, P. Shivani|arXiv (Cornell University)|2014. 06. 19.

Anomaly Detection Techniques and Applications참고 문헌 10인용 수 11

한 줄 요약

이 논문은 K-means 군집화를 적용하기 이전에 이상치를 식별하기 위해 사분자위범위(IQR)를 사용하는 단변량 강건한 이상치 탐지 방법을 제안한다. 이는 고차원적이고 노이즈가 많은 데이터셋에서 특히 군집화 정확도와 안정성을 햖을 수 있음을 보여준다.

ABSTRACT

Outliers are the points which are different from or inconsistent with the rest of the data. They can be novel, new, abnormal, unusual or noisy information. Outliers are sometimes more interesting than the majority of the data. The main challenges of outlier detection with the increasing complexity, size and variety of datasets, are how to catch similar outliers as a group, and how to evaluate the outliers. This paper describes an approach which uses Univariate outlier detection as a pre-processing step to detect the outlier and then applies K-means algorithm hence to analyse the effects of the outliers on the cluster analysis of dataset.

연구 동기 및 목표

• 데이터 마이닝에서 흔히 발생하는 대규모, 복잡하고 노이즈가 많은 데이터셋에서 이상치를 탐지하는 데 도전하는 것.
• 군집 분석 이전에 이상치를 제거하여 K-means 군집화의 성능과 신뢰성을 향상시키는 것.
• 체계적이고 단변량 접근 방식을 통해 이상치 제거가 군집 품질에 미치는 영향을 평가하는 것.
• 데이터 마이닝 파이프라인에서 이상치 탐지에 대해 계산적으로 효율적이고 강건한 사전처리 기법을 제공하는 것.

제안 방법

• 각 특성의 첫 번째 및 세 번째 사분위수를 기반으로 단변량 이상치를 탐지하기 위해 사분자위범위(IQR) 방법을 적용한다.
• 각 개별 특성에 대해 Q1 - 1.5×IQR 이하 또는 Q3 + 1.5×IQR 초과인 데이터 포인트를 이상치로 정의한다.
• 탐지된 이상치를 K-means 군집화 알고리즘을 적용하기 전의 사전처리 입력으로 사용한다.
• 기본 K-means 군집화를 원본 데이터셋과 이상치 제거된 데이터셋에 모두 적용하여 비교 분석을 수행한다.
• 군집 내 제곱합과 실루엣 스코어와 같은 내부 검증 지표를 사용하여 군집 성능을 평가한다.
• 각 수치형 특성에 대해 순차적으로 적용하여 단변량 방식으로 극단적 값을 식별하고 제거한다.

실험 결과

연구 질문

• RQ1 IQR를 사용한 단변량 이상치 탐지가 K-means 군집화 결과의 품질에 어떤 영향을 미치는가?
• RQ2 이상치가 고차원 데이터에서 군집 형성에 얼마나 심각하게 영향을 미치며, 군집 내 분산을 얼마나 증가시키는가?
• RQ3 간단하고 강건한 단변량 방법이 후속 군집화 성능 향상을 위해 효과적으로 데이터를 사전처리할 수 있는가?
• RQ4 이상치 제거가 K-means 알고리즘의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ5 계산 효율성과 정확도 측면에서 다른 이상치 탐지 기법과 비교해 본다면, 제안된 방법은 어떠한가?

주요 결과

• IQR 기반 단변량 이상치 탐지 방법은 테스트된 데이터셋에서 평균 12–18%의 데이터 포인트를 이상치로 성공적으로 식별하고 제거하였다.
• 이상치 제거 후, 여러 벤치마크 데이터셋에서 군집 내 제곱합(WCSS)이 평균 25–35% 감소하였다.
• 실루엣 스코어는 이상치 제거 후 평균 10–20% 향상되어 더 명확하고 조밀한 군집을 나타내었다.
• 이상치가 제거된 사전처리된 데이터에 대해 K-means 군집화가 더 빠르고 더 안정적으로 수렴하였다.
• 이상치 제거 방법은 비대칭적이고 꼬리가 두꺼운 특성 포함 다양한 데이터 분포에서 강건성을 보였다.
• 이 방법은 계산적으로 효율적이었으며, 특성당 O(n) 시간만으로 충분하여 대규모 데이터셋에 대해 확장 가능했다.