[논문 리뷰] How the initialization affects the stability of the k-means algorithm

Sébastien Bubeck, Marina Meilă외 1명|ArXiv.org|2009. 07. 31.

Advanced Clustering Algorithms Research참고 문헌 10인용 수 5

한 줄 요약

이 논문은 실질적인 k-means 알고리즘에서 초기화가 안정성에 미치는 영향을 조사하며, 진짜 클러스터 수와 동일한 중심 수로 초기화할 경우(k′ = K), k-means가 안정적으로 작동하고 정확한 클러스터링에 수렴함을 보여준다. 진짜 클러스터 수보다 많은 중심을 초기화할 경우(K′ > K), 다양한 초기 설정으로 인해 안정성이 떨어지며, 이는 실세계 응용에서 안정성 기반 모델 선택이 진짜 클러스터 수를 성공적으로 식별할 수 있는 이유를 설명한다.

ABSTRACT

We investigate the role of the initialization for the stability of the k-means clustering algorithm. As opposed to other papers, we consider the actual k-means algorithm and do not ignore its property of getting stuck in local optima. We are interested in the actual clustering, not only in the costs of the solution. We analyze when different initializations lead to the same local optimum, and when they lead to different local optima. This enables us to prove that it is reasonable to select the number of clusters based on stability scores.

연구 동기 및 목표

• 실제 k-means 알고리즘의 안정성에 영향을 주는 초기화 방식을 이해하는 것, 목적 함수 값이 아닌 알고리즘의 행동에 초점을 맞춘다.
• 기존 이론적 이해의 틈을 메우기 위해, 이상적으로 전역 최적화된 k-means 알고리즘을 전제로 하는 클러스터링 안정성 이론의 한계를 다루는 것.
• 초기화가 k-means가 같은 국소 최적해 또는 다른 국소 최적해로 수렴하는지에 영향을 주는 역할을 분석하는 것.
• 실제 응용에서 안정성 기반 모델 선택이 클러스터 수 k를 선택하는 데 성공한 이유를 검증하는 것.
• 초기 중심 설정에 기반한 국소 최적해의 '안착 영역'을 특성화하는 새로운 이론적 접근 방식을 제시하는 것.

제안 방법

• 일차원 정규분포 혼합 모델을 사용하여 다양한 초기 설정 조건에서 k-means의 행동을 분석한다.
• 초기 설정(configuration) 개념을 도입하며, 이는 각 진짜 클러스터에 할당된 초기 중심의 수를 의미하며, 최종 클러스터링 결과의 핵심 결정 요소로 작용한다.
• K′ = K 이고 각 진짜 클러스터에 정확히 한 개의 중심이 할당될 경우, 알고리즘이 안정적으로 작동하고 정확한 클러스터링으로 수렴함을 증명한다.
• K′ > K 이면 다양한 초기 설정이 서로 다른 최종 클러스터링 결과를 초래하므로 안정성이 떨어짐을 보여준다.
• 각 진짜 클러스터에 최소한 하나의 중심이 높은 확률로 할당되는 비균일 초기화 방법을 제안하고, 그 효과성을 증명한다.
• 구성 기반 추론과 농도 불등식을 사용하여 일차원 정규분포 혼합 모델에서 수렴 행동을 분석한다.

실험 결과

연구 질문

• RQ1 k-means 알고리즘이 여러 실행 간에 동일한 클러스터링으로 수렴하는 초기화 조건은 무엇인가?
• RQ2 왜 실세계 응용에서 k-means에 대한 안정성 기반 모델 선택이 자주 진짜 클러스터 수를 정확히 식별하는가?
• RQ3 진짜 클러스터 수(K)에 비해 초기 중심 수(K′)가 어떻게 영향을 주는가?
• RQ4 비균일 초기화 방법은 각 진짜 클러스터에 최소한 하나의 중심이 높은 확률로 할당되도록 보장할 수 있는가?
• RQ5 잘 분리된 클러스터를 가진 데이터에서조차 초기화로 인해 k-means가 불안정해지는 이론적 조건은 무엇인가?

주요 결과

• 두 개의 일차원 정규분포 혼합 모델에서, 정확히 두 개의 중심으로 초기화할 경우(k′ = K), k-means는 안정적이지만, 세 개의 중심으로 초기화할 경우(K′ > K)는 불안정하다.
• 안정성은 초기 설정에 매우 민감하며, 각 진짜 클러스터에 정확히 한 개의 중심이 할당될 경우에만 알고리즘이 안정성을 유지한다.
• K′ > K 이면 다양한 초기 설정이 서로 다른 최종 클러스터링 결과를 초래하므로 불안정성이 발생한다.
• 재시작 없이도 표준 k-means 알고리즘이 안정성 기반 모델 선택에서 재시작이 있는 경우와 유사한 성능을 보이며, 이는 재시작이 안정성을 높인다는 직관과 정반대이다.
• 비균일 초기화 방법은 균일한 랜덤 초기화와 달리 각 진짜 클러스터에 최소한 하나의 중심이 높은 확률로 할당됨을 증명하였다.
• 이 논문은 초기 중심 설정에 기반한 k-means의 국소 최적해의 '안착 영역'을 처음으로 이론적으로 특성화하였다.