[논문 리뷰] The k-means-u* algorithm: non-local jumps and greedy retries improve k-means++ clustering

Bernd Fritzke|arXiv (Cornell University)|2017. 06. 27.

Data Mining Algorithms and Applications인용 수 5

한 줄 요약

이 논문은 k-means++를 개선하기 위해 국소적 이외의 점프와 탐욕스러운 재시도를 도입한 보완된 클러스터링 알고리즘인 k-means-u*를 제안한다. 이 알고리즘은 나쁜 국소 최소값에 갇히는 것을 방지하기 위해 반복적으로 가장 유용성이 낮은 중심을 랜덤 변형을 가한 채로 오류가 가장 높은 영역으로 이동시키고, 비최적의 점프에 대해 재시도함으로써, 다양한 데이터셋에서 k-means++보다 유의미하게 낮은 제곱합 오차(SSE)를 달성한다. 이는 최대 8%의 향상과 중간 정도의 계산 오버헤드를 동반한다.

ABSTRACT

We present a new clustering algorithm called k-means-u* which in many cases is able to significantly improve the clusterings found by k-means++, the current de-facto standard for clustering in Euclidean spaces. First we introduce the k-means-u algorithm which starts from a result of k-means++ and attempts to improve it with a sequence of non-local "jumps" alternated by runs of standard k-means. Each jump transfers the "least useful" center towards the center with the largest local error, offset by a small random vector. This is continued as long as the error decreases and often leads to an improved solution. Occasionally k-means-u terminates despite obvious remaining optimization possibilities. By allowing a limited number of retries for the last jump it is frequently possible to reach better local minima. The resulting algorithm is called k-means-u* and dominates k-means++ wrt. solution quality which is demonstrated empirically using various data sets. By construction the logarithmic quality bound established for k-means++ holds for k-means-u* as well.

연구 동기 및 목표

• 초기화에 민감하여 부분 최적의 국소 최소값으로 수렴하는 k-means++의 한계를 해결하기 위해.
• 이론적 품질 경계를 유지하면서 k-means++의 성능을 향상시키는 방법을 개발하기 위해.
• 국소 최적화에서 조기 종료의 가능성을 줄이기 위해 비국소적 점프를 위한 재시도 메커니즘을 도입하기 위해.
• 다양한 데이터 분포에서 클러스터링 품질(SSE) 측면에서 k-means-u*가 k-means++를 일관되게 능가함을 경험적으로 검증하기 위해.

제안 방법

• k-means-u* 알고리즘은 k-means++ 초기화로 시작하여 클러스터링을 향상시키기 위한 일련의 비국소적 점프를 적용한다.
• 각 점프는 국소 오차 기반으로 가장 유용성이 낮은 중심을 국소 오차가 가장 높은 중심으로, 약간의 랜덤 벡터를 더해 이동시킨다.
• 각 점프 후에 표준 k-means 반복을 수행하여 구성 구성을 정밀화한다.
• 오차가 증가하는 경우, 최근 점프에 대해 제한된 수의 탐욕스러운 재시도를 수행하여 나쁜 국소 최소값에서 벗어나도록 한다.
• 재시도는 랜덤 변형을 통해 대안적 구성 구성을 탐색하고 반복적인 비최적 경로를 피하기 위해 수행된다.
• 모든 해가 초기 k-means++ 결과보다 악화되지 않도록 보장함으로써, k-means++의 로그 형태의 근사 경계를 유지한다.

실험 결과

연구 질문

• RQ1 비국소적 점프와 탐욕스러운 재시도의 조합이 k-means++의 클러스터링 품질을 유의미하게 향상시킬 수 있는가?
• RQ2 k-means-u*는 최적화 잠재력이 남아 있음에도 불구하고 왜 종종 조기 종료되는가?
• RQ3 다양한 데이터 구조와 k 값에서 k-means-u*는 k-means++보다 제곱합 오차(SSE) 측면에서 어느 정도 더 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 특히 고차원 또는 복잡한 데이터 환경에서 k-means-u*의 계산 비용은 k-means++ 및 k-means-u와 비교해 어떻게 되는가?

주요 결과

• k-means-u*는 다양한 데이터셋에서 k-means++ 대비 평균 SSE를 최대 8%까지 감소시키며, 데이터 구조와 k 값에 따라 성능 향상 정도가 달라진다.
• 추진력 데이터셋의 경우, k-means++의 모든 결과가 k-means-u*에 의해 향상되었으며, 평균 개선률은 약 2%였다.
• 알고리즘은 중간 정도의 계산 오버헤드만을 유발하며, k-means++ 대비 최대 230%의 오버헤드를 보였고, 가장 큰 데이터셋에서는 50% 미만이었다.
• k-means-u*는 해 품질 측면에서 k-means-u와 k-means++를 일관되게 압도하며, 재시도 메커니즘 덕분에 오차가 엄격히 단조 감소하는 경향을 보였다.
• k-means++의 로그 형태 품질 경계는 k-means-u*에서도 유지되어 해 품질에 대한 이론적 보장을 보장한다.
• k가 클러스터 수의 낮은 배수일 때, k-means++가 어려움을 겪는 상황에서도 이 방법은 효과적이며, 5차원 혼합 정규분포와 같은 고차원 환경에서도 잘 작동한다.