[논문 리뷰] Fast Noise Removal for $k$-Means Clustering

Sungjin Im, Mahshid Montazer Qaem외 3명|arXiv (Cornell University)|2020. 03. 05.

Anomaly Detection Techniques and Applications참고 문헌 26인용 수 12

한 줄 요약

이 논문은 $k$-means 클러스터링에 대해 증명 가능 보장이 있는 빠르고 탐욕적인 전처리 알고리즘인 NK-means를 제안한다. $k$-means with outliers를 표준 $k$-means로의 의사근사보존 변환을 통해 변환함으로써, 어떤 $k$-means 알고리즘과도 통합 가능하게 하여 근사선형 시간 복잡도를 달성하고, 실제 데이터셋에서 높은 정확도와 안정성을 보이는 뛰어난 경험적 성능을 제공한다.

ABSTRACT

This paper considers $k$-means clustering in the presence of noise. It is known that $k$-means clustering is highly sensitive to noise, and thus noise should be removed to obtain a quality solution. A popular formulation of this problem is called $k$-means clustering with outliers. The goal of $k$-means clustering with outliers is to discard up to a specified number $z$ of points as noise/outliers and then find a $k$-means solution on the remaining data. The problem has received significant attention, yet current algorithms with theoretical guarantees suffer from either high running time or inherent loss in the solution quality. The main contribution of this paper is two-fold. Firstly, we develop a simple greedy algorithm that has provably strong worst case guarantees. The greedy algorithm adds a simple preprocessing step to remove noise, which can be combined with any $k$-means clustering algorithm. This algorithm gives the first pseudo-approximation-preserving reduction from $k$-means with outliers to $k$-means without outliers. Secondly, we show how to construct a coreset of size $O(k \log n)$. When combined with our greedy algorithm, we obtain a scalable, near linear time algorithm. The theoretical contributions are verified experimentally by demonstrating that the algorithm quickly removes noise and obtains a high-quality clustering.

연구 동기 및 목표

• 노이즈 존재 시 $k$-means 클러스터링의 도전 과제를 해결하기 위해, 이는 해의 품질을 심각하게 떨어뜨린다.
• 클러스터링 품질을 유지하면서 외곽점 제거를 위한 단순하고 효율적인 전처리 단계를 개발하기 위해.
• 표준 $k$-means로의 $k$-means with outliers에 대한 첫 번째 의사근사보존 감소를 제공하기 위해.
• 실행 시간과 해 품질 측면에서 기존 방법을 능가하는 이론적 보장이 있는 확장 가능한 알고리즘을 설계하기 위해.
• 다양한 노이즈 수준과 데이터 크기를 가진 실제 데이터셋에서 방법을 경험적으로 검증하기 위해.

제안 방법

• 가장 큰 제곱거리에 해당하는 중심점과의 거리를 가진 점을 반복적으로 제거하는 탐욕 알고리즘인 NK-means를 도입한다. 이는 외곽점 효과적으로 걸러내는 데 기여한다.
• 모든 $k$-means 클러스터링 알고리즘에 전처리 단계를 적용함으로써, $k$-means++와 같은 기존 방법과의 호환성을 확보한다.
• $O(k\log n)$ 크기의 코어셋을 구성하여 효율적인 계산을 가능하게 하면서도 근사 보장을 유지한다.
• 탐욕적 외곽점 제거와 코어셋 구축을 결합하여 근사선형 시간 복잡도를 달성한다.
• 다양한 데이터셋 간 성능 비교를 위해 공정한 평가를 보장하기 위해 정규화된 목적 함수를 사용한다.
• 실험에서 노이즈 주입 전략을 활용한다: $[-\Delta, \Delta]^d$ 영역에 무작위로 $1\%$의 점을 추가하여 외곽점 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 단순한 탐욕적 전처리 단계가 강력한 이론적 보장과 함께 $k$-means 클러스터링에서 외곽점을 효과적으로 제거할 수 있는가?
• RQ2 $k$-means with outliers를 의사근사보존 변환을 통해 표준 $k$-means로 감소시킬 수 있는가?
• RQ3 코어셋 기반 접근법을 통해 외곽점이 있는 $k$-means의 근사선형 시간 처리가 가능해지며 해 품질도 유지될 수 있는가?
• RQ4 제안된 NK-means 알고리즘이 기존 최첨단 방법과 비교해 실행 시간, 목적 함수 값, 실제 데이터셋에서의 정밀도 측면에서 어떻게 성능을 냈는가?
• RQ5 알고리즘이 다양한 데이터 분포와 노이즈 수준에서 안정성과 높은 성능을 유지하는가?

주요 결과

• NK-means는 Skin-5를 제외한 모든 실제 데이터셋에서 최고의 목적 함수 값을 기록했으며, Skin-5에서는 최고값과 5% 이내였다.
• 모든 데이터셋에서 정밀도가 0.99 이상을 유지하여 다른 방법들보다 안정성과 정확도에서 뛰어났다.
• 모든 데이터셋에서 4시간 이내로 실행되었으며, 이론적 보장이 있는 알고리즘 중에서 가장 빠른 실행 시간을 기록했다.
• KddFull 데이터셋(480만 점)에서는 인위적 노이즈 없이도 다른 방법들보다 목적 함수 값에서 뚜렷한 승리를 거두었다.
• NK-means 전처리를 적용한 코어셋 기반 $k$-means++의 변형은 경쟁 가능한 실행 시간과 정밀도를 기록하여 확장성을 입증했다.
• 실험을 통해 NK-means는 본 연구에서 유일하게 최악의 경우 이론적 보장을 갖춘 알고리즘이었으며, 이는 일관된 성능을 설명할 수 있다.