[논문 리뷰] The K-modes algorithm for clustering

Miguel Á. Carreira-Perpiñán, Weiran Wang|arXiv (Cornell University)|2013. 04. 24.

Advanced Clustering Algorithms Research참고 문헌 21인용 수 22

한 줄 요약

이 논문은 K-modes 알고리즘을 제안하며, 밀도 최적화(예: 메트릭 시프트와 유사)와 군집 할당(예: K-means와 유사)을 조합하여 데이터 내 정확히 K개의 대표적이고 유효한 패턴(모드)을 찾는 군집화 방법이다. 비볼록 군집에서도 이해 가능하고 노이즈에 강건한 중심점(centroid)을 생성하며, K-means와 메트릭 시프트보다 중심점의 유효성과 강건성에서 뛰어나면서도 계산 효율성을 유지한다.

ABSTRACT

Many clustering algorithms exist that estimate a cluster centroid, such as K-means, K-medoids or mean-shift, but no algorithm seems to exist that clusters data by returning exactly K meaningful modes. We propose a natural definition of a K-modes objective function by combining the notions of density and cluster assignment. The algorithm becomes K-means and K-medoids in the limit of very large and very small scales. Computationally, it is slightly slower than K-means but much faster than mean-shift or K-medoids. Unlike K-means, it is able to find centroids that are valid patterns, truly representative of a cluster, even with nonconvex clusters, and appears robust to outliers and misspecification of the scale and number of clusters.

연구 동기 및 목표

• 비볼록 또는 다양체 구조를 띤 데이터에서 정확히 K개의 의미 있고 유효한 패턴(모드)을 중심점으로 반환하는 군집화 알고리즘이 부족한 문제를 해결하기 위해.
• 비볼록 군집에서 K-means는 평균화된 노이즈가 포함된 패턴을 중심점으로 생성하는 등 유효하지 않은 중심점을 도출하고, 메트릭 시프트는 대역폭과 군집 수를 혼동하며 고차원에서 어려움을 겪는 점을 극복하기 위해.
• 군집이 비정규적 또는 다양체 구조를 띠더라도 중심점이 해당 군집의 대표성을 가지며 입력 공간 내 유효한 패턴이 되도록 보장하는 방법을 개발하기 위해.
• 실제 데이터 포인트가 되어야 하는 중심점이 필요 없이도 높은 중심점 품질을 유지하면서 메트릭 시프트와 K-medoids보다 계산 효율성이 뛰어난 대안을 제공하기 위해.
• 군집 수(K)와 스무딩(대역폭)의 역할을 분리하여 군집 수와 중심점의 노이즈 평균화 수준을 독립적으로 제어할 수 있도록 하기 위해.

제안 방법

• K-means 군집 할당과 커널 밀도 추정(KDE)을 통한 밀도 최적화를 조합한 K-modes 목적 함수를 제안하며, 스무딩을 제어하는 데 대역폭 σ를 사용한다.
• 대역폭 σ를 큰 값에서 작은 값으로 점진적으로 감소시키는 호모토피 알고리즘을 사용하여 모드의 진화를 추적하고 K개의 서로 다른 모드로 수렴함을 보장한다.
• 각 군집 내 데이터 포인트에 대해 커널 함수(예: 가우시안)를 사용하여 가중 평균을 계산함으로써 중심점을 산출하며, 가중치는 현재 모드 추정치와의 거리에 따라 결정된다.
• 큰 σ의 극한에서는 K-modes가 K-means로 축소되며, 작은 σ의 극한에서는 중심점이 실제 데이터 포인트에 가까워지는 K-medoids 유사 행동을 보인다.
• 각 군집별로 국소 대역폭 전략을 사용하여 노이즈 감소와 패턴 유지 간의 균형을 이루는 적응적 스무딩을 가능하게 한다.
• EM 유사 반복 업데이트에 기반: 각 점을 가장 가까운 모드에 할당하고, 할당된 점들의 커널 가중 평균을 다시 계산하여 중심점을 갱신함으로써 국소 최적해로 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 비볼록 또는 다양체 구조를 띤 데이터에서도 정확히 K개의 유효하고 해석 가능한 패턴(모드)을 중심점으로 반환하는 군집화 알고리즘을 설계할 수 있는가?
• RQ2 군집 수(K)와 스무딩(대역폭)의 역할을 분리하여 메트릭 시프트와 K-means보다 강건성과 해석 가능성에서 향상된 결과를 얻을 수 있는가?
• RQ3 군집 할당과 밀도 최적화를 조합함으로써 K-means나 메트릭 시프트보다 더 대표적이며 외곽치에 덜 민감한 중심점을 도출할 수 있는가?
• RQ4 K-means 수준의 계산 효율성을 유지하면서도 메트릭 시프트의 대표성과 K-medoids의 유효성에 도달할 수 있는가?
• RQ5 노이즈 평균화와 패턴 유지 간의 균형을 이루는 데 최적의 대역폭 전략은 무엇인가?

주요 결과

• K-modes는 K-means가 기울기 방향을 평균화하여 실패하는 비볼록 군집에서도 유효한 패턴(예: 인식 가능한 숫자 이미지)을 중심점으로 생성한다.
• 외곽치와 매개변수 잘못 설정에 대해 강건하며, 다양한 K와 σ에서 안정적인 중심점 행동을 보여주어 강건성을 입증한다.
• 중간 수준의 대역폭에서 K-modes는 노이즈와 특이성을 평균화하여 개별 데이터 포인트보다 더 일반적이고 대표적인 패턴을 도출한다.
• 계산 측면에서 K-means보다 略로 느리지만 메트릭 시프트보다 훨씬 빠르며, K-means를 여러 번 실행하는 것과 유사한 복잡도를 가진다.
• 호모토피 알고리즘을 통해 거친 군집에서부터 세밀한 군집으로의 부드러운 전이가 가능하며, 스무딩 스펙트럼 전반에 걸쳐 중심점의 시퀀스를 제공하여 탐색적 데이터 분석에 유용하다.
• K-modes는 국소 대역폭과 비가우시안 커널(예: 에판에니키노)을 사용하도록 확장 가능하며, 향후 구현에서 속도와 강건성을 향상시킬 수 있다.