[논문 리뷰] The Laplacian K-modes algorithm for clustering

Weiran Wang, Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|2014. 06. 16.

Advanced Clustering Algorithms Research참고 문헌 29인용 수 5

한 줄 요약

Laplacian K-modes 알고리즘은 K-modes 군집화와 그래프 라플라시안 정규화를 조합하여 비볼록 또는 다양체 구조를 가진 데이터에서도 의미 있고 고밀도이며 해석 가능한 군집 중심을 찾는다. 할당 변수, 커널 밀도 추정을 통한 모드 탐색, 스펙트럴 정규화를 통합함으로써 유효하고 대표적인 중심점과 효율적인 샘플 외 할당을 가능하게 하여 뛰어난 군집 성능을 달성한다.

ABSTRACT

In addition to finding meaningful clusters, centroid-based clustering algorithms such as K-means or mean-shift should ideally find centroids that are valid patterns in the input space, representative of data in their cluster. This is challenging with data having a nonconvex or manifold structure, as with images or text. We introduce a new algorithm, Laplacian K-modes, which naturally combines three powerful ideas in clustering: the explicit use of assignment variables (as in K-means); the estimation of cluster centroids which are modes of each cluster's density estimate (as in mean-shift); and the regularizing effect of the graph Laplacian, which encourages similar assignments for nearby points (as in spectral clustering). The optimization algorithm alternates an assignment step, which is a convex quadratic program, and a mean-shift step, which separates for each cluster centroid. The algorithm finds meaningful density estimates for each cluster, even with challenging problems where the clusters have manifold structure, are highly nonconvex or in high dimension. It also provides centroids that are valid patterns, truly representative of their cluster (unlike K-means), and an out-of-sample mapping that predicts soft assignments for a new point.

연구 동기 및 목표

• 비볼록 또는 다양체 구조를 가진 군집을 다루는 데에서 K-means와 K-modes의 한계를 해결한다.
• 각 군집 내에서 커널 밀도 추정의 모드를 찾아 유효하고 대표적인 패턴인 군집 중심점을 확보한다.
• 근처 데이터 포인트들 간의 할당이 매끄럽고 일관되게 유지되도록 정규화 메커니즘을 도입하여 군집 간 분리도 향상시킨다.
• 샘플 외 할당을 가능하게 하면서도 계산 효율성과 확장성을 유지한다.
• MNIST와 COIL-20와 같은 고차원 데이터셋에서 K-means, K-modes, mean-shift보다 뛰어난 군집 성능을 달성한다.

제안 방법

• 공간적 일관성을 유도하기 위해 K-modes 군집화와 그래프 라플라시안 정규화를 조합한 공동 최적화 목표 함수를 설정한다.
• K-means와 유사하게 이진 할당 변수 (z_nk) 를 사용해 데이터 포인트를 군집에 할당하지만, 유클리드 거리가 아닌 밀도 인식 거리 측도를 사용한다.
• 각 군집에 속한 점들로부터 구축한 커널 밀도 추정(KDE)의 모드로 군집 중심점을 추정함으로써 유효하고 고밀도 패턴이 되도록 보장한다.
• 할당 갱신을 위한 볼록 2차 프로그램을 풀고, 각 중심점을 별도로 갱신하기 위해 평균 이동(iterations)을 수행하는 것을 번갈아가며 수행한다.
• 해당 해를 이전 단계의 해를 재사용하면서 대역폭 σ 를 점진적으로 감소시키는 호모토피 연속 기법을 도입하여 수렴성과 성능을 향상시킨다.
• 학습된 밀도 추정과 할당 규칙을 활용해 소프트 샘플 외 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비볼록 또는 다양체 구조를 가진 데이터에 대해서도 의미 있고 고밀도이며 해석 가능한 중심점을 찾을 수 있는 군집 알고리즘을 설계할 수 있는가?
• RQ2 K-modes(모드 탐색, 유효한 중심점)와 스펙트럴 군집화(비볼록 군집 탐지)의 장점을 하나의 프레임워크 안에서 어떻게 융합할 수 있는가?
• RQ3 할당의 일관성과 군집 간 분리도 향상을 위한 정규화를 도입함에도 불구하고 계산 효율성을 유지할 수 있는가?
• RQ4 그래프 라플라시안 정규화의 통합이 MNIST와 COIL-20와 같은 고차원 데이터셋에서 군집 성능을 향상시키는가?
• RQ5 학습 데이터셋 외의 새로운 데이터 포인트에 대해 소프트이고 일반화 가능한 할당을 생성할 수 있는가?

주요 결과

• MNIST에서 Laplacian K-modes는 70.5%의 정확도와 68.8%의 NMI를 기록하여 K-means(55.2% 정확도, 50.2% NMI)와 K-modes(56.0% 정확도, 50.6% NMI)를 크게 앞서갔다.
• COIL-20에서 Laplacian K-modes는 호모토피 기법을 사용해 81.5%의 정확도와 88.0%의 NMI를 달성하여 K-means(64.8% 정확도, 73.5% NMI)와 K-modes(65.5% 정확도, 73.0% NMI)를 뛰어넘었다.
• Laplacian K-modes가 생성한 중심점은 노이즈와 개인적 특이성을 제거하면서도 클래스 정체성을 유지하는 선명하고 대표적인 이미지였지만, K-means의 뿌연 평균 중심점과는 대조적이었다.
• 이 알고리즘은 회전된 숫자 등 다양체 구조를 가진 군집을 성공적으로 분리했으며, mean-shift에서 관찰되는 다중 모드 또는 중심점 이동 문제를 피했다.
• 호모토피 연속 기법은 대역폭 σ 를 점진적으로 감소시켜 중심점이 고밀도이고 대표적인 패턴으로 매끄럽게 수렴하도록 하여 성능을 향상시켰다.
• 이 알고리즘은 학습된 밀도 및 할당 모델을 기반으로 새로운 데이터 포인트에 대해 소프트이고 일반화 가능한 할당을 제공한다.