[논문 리뷰] Further heuristics for $k$-means: The merge-and-split heuristic and the $(k,l)$-means

Frank Nielsen, Richard Nock|arXiv (Cornell University)|2014. 06. 23.

Advanced Clustering Algorithms Research참고 문헌 21인용 수 4

한 줄 요약

이 논문은 국소 최소값에서 벗어나기 위해 병합-분할 $k$-means 히وري스틱과 $(k,l)$-means 목적함수를 도입한다. 이는 라이드의 알고리즘과 하르티건의 알고리즘을 부분 재시드를 통해 빈 클러스터와 단일 포인트 클러스터를 처리하도록 확장하며, $l>1$인 $(k,l)$-means는 표준 $k$-means로 단순화될 수 있으며, 이는 더 나은 해를 제공한다—특히 재시작 횟수가 제한된 상황에서 특히 높이 향상된 결과를 보이며, Iris 데이터셋에서 표준 $k$-means 대비 최대 80.55% 향상됨.

ABSTRACT

Finding the optimal $k$-means clustering is NP-hard in general and many heuristics have been designed for minimizing monotonically the $k$-means objective. We first show how to extend Lloyd's batched relocation heuristic and Hartigan's single-point relocation heuristic to take into account empty-cluster and single-point cluster events, respectively. Those events tend to increasingly occur when $k$ or $d$ increases, or when performing several restarts. First, we show that those special events are a blessing because they allow to partially re-seed some cluster centers while further minimizing the $k$-means objective function. Second, we describe a novel heuristic, merge-and-split $k$-means, that consists in merging two clusters and splitting this merged cluster again with two new centers provided it improves the $k$-means objective. This novel heuristic can improve Hartigan's $k$-means when it has converged to a local minimum. We show empirically that this merge-and-split $k$-means improves over the Hartigan's heuristic which is the {\em de facto} method of choice. Finally, we propose the $(k,l)$-means objective that generalizes the $k$-means objective by associating the data points to their $l$ closest cluster centers, and show how to either directly convert or iteratively relax the $(k,l)$-means into a $k$-means in order to reach better local minima.

연구 동기 및 목표

• 나쁜 초기화 또는 높은 $k/d$ 비율로 인해 $k$-means 히وري스틱이 열악한 국소 최소값에 갇힐 수 있는 한계를 해결하기 위해.
• 클래식한 $k$-means 히وري스틱(라이드의 알고리즘과 하르티건의 알고리즘)을 부분 재시드를 통해 빈 클러스터와 단일 포인트 클러스터를 처리할 수 있도록 확장하기 위해.
• 목적함수 향상 가능성이 있을 경우 클러스터 재구성 기능을 제공하는 새로운 병합-분할 $k$-means 히وري스틱을 제안하여 하르티건의 방법을 개선하기 위해.
• 표준 $k$-means 목적함수를 일반화하여 각 점이 자신의 $l$ 번째로 가까운 중심점들에 할당되는 $(k,l)$-means 목적함수를 도입하고, 이를 표준 $k$-means로 단순화할 수 있음을 보여주기 위해.
• $(k,l)$-means와 그 계단식 단순화가 표준 $k$-means를 초월하는 것으로 경험적으로 검증하기 위해, 특히 재시작 횟수가 제한된 상황에서 성능을 평가하기 위해.

제안 방법

• 빈 클러스터 처리를 위해 라이드 알고리즘을 확장하여 이동 중에 클러스터 중심을 재할당하고, 이러한 사건을 부분 재시드의 기회로 간주하기 위해.
• 단일 포인트 클러스터 처리를 위해 하르티건의 단일 포인트 이동 히وري스틱을 확장하여 재할당 및 재중심화를 허용하고, 이를 재시드의 촉발 조건으로 활용하기 위해.
• 병합-분할 $k$-means 히وري스틱을 제안: 두 클러스터를 병합하고, 목적함수 향상이 가능할 경우 중심점 갱신 후 다시 두 개의 새로운 클러스터로 분할하기 위해.
• $(k,l)$-means 목적함수를 도입: 각 점이 자신의 $l$ 번째로 가까운 클러스터 중심점들에 할당되며, 표준 $k$-means 목적함수를 일반화하기 위해.
• 두 가지 변환 전략 개발: 직접 할당(가장 가까운 중심점만 유지) 또는 반복적으로 가장 먼 중심점을 제거하면서 $(k,l)$-means에서 $(k,l-1)$-means로 단순화하여 표준 $k$-means에 도달하기까지.
• 최종 $k$-means 정밀 조정을 위해 $(k,l)$-means를 사전 처리 단계로 사용하고, 변환 또는 단순화를 통해 수행하기 위해.

실험 결과

연구 질문

• RQ1 빈 클러스터와 단일 포인트 클러스터 이벤트가 $k$-means 히وري스틱에서 부분 재시드의 기회로 활용될 수 있는가?
• RQ2 제안된 병합-분할 $k$-means 히وري스틱이 하르티건의 방법보다 국소 최소값에서 벗어나는 데 더 효과적인가?
• RQ3 $l>1$인 $(k,l)$-means 목적함수는 최적화 과정의 곡면을 부드럽게 하고 표준 $k$-means보다 더 나은 국소 최소값을 제공하는가?
• RQ4 $(k,l)$-means를 표준 $k$-means로 단순화하는 방법이 해의 품질과 초기화에 대한 강건성 측면에서 얼마나 효과적인가?
• RQ5 재시작 횟수가 제한된 상황에서, 변환 또는 단순화를 통해 $(k,l)$-means가 표준 $k$-means를 일관되게 초월하는가?

주요 결과

• 목적함수 향상 가능성이 있을 경우 클러스터 재구성 기능을 제공하는 병합-분할 $k$-means 히وري스틱은 표준으로 여겨지는 하르티건의 방법을 개선한다.
• Iris 데이터셋에서 $k=6$일 때, 10,000번의 재시작을 통해 변환된 $(k,2)$-means는 표준 $k$-means보다 80.55%의 시도에서 성능이 뛰어나다.
• 재시작 횟수가 제한된 상황에서 Iris 데이터셋에서 $l=2$인 $(k,l)$-means는 80%의 경우에서 표준 $k$-means를 능가한다.
• 가장 먼 중심점을 반복적으로 제거하면서 $(k,l)$-means에서 $k$-means로의 계단식 단순화 과정은 직접 $k$-means보다 더 나은 해를 제공하며, 특히 $k$가 클수록 유의미하다.
• $k=10$일 때, $(k,3)$-means의 단순화 결과는 표준 $k$-means보다 82.5%의 시도에서 성능이 뛰어나 평균 점수는 27.76로 $k$-means의 28.02보다 높다.
• $(k,l)$-means 접근법은 최적화 곡면을 부드럽게 하여 열악한 국소 최소값의 수를 줄이고, 최고의 국소 최소값의 품질을 유지하거나 향상시킨다.