[논문 리뷰] Stop using the elbow criterion for k-means and how to choose the number of clusters instead

Erich Schubert|arXiv (Cornell University)|2022. 12. 23.

Advanced Clustering Algorithms Research인용 수 9

한 줄 요약

이 논문은 k-means 군집화에서 군집 수를 선택하는 데에 팔꿈치 기준을 사용하는 것을 반박하며, 이 기준이 이론적 기반을 갖추지 못하고 다양한 데이터 유형에서 성능이 열 劣하다고 지적한다. 대신, 보다 우수한 대안으로 칼린스키-하라바슈 VRC, 베이지안 정보 기준(BIC), 그리고 갭 통계를 제안하며, 이는 다양한 데이터 구조에서 더 신뢰성 있고 일관성 있는 군집 선택을 가능하게 한다.

ABSTRACT

A major challenge when using k-means clustering often is how to choose the parameter k, the number of clusters. In this letter, we want to point out that it is very easy to draw poor conclusions from a common heuristic, the "elbow method". Better alternatives have been known in literature for a long time, and we want to draw attention to some of these easy to use options, that often perform better. This letter is a call to stop using the elbow method altogether, because it severely lacks theoretic support, and we want to encourage educators to discuss the problems of the method -- if introducing it in class at all -- and teach alternatives instead, while researchers and reviewers should reject conclusions drawn from the elbow method.

연구 동기 및 목표

• 이론적 엄밀함이 부족하고 일관성 없는 성능을 보이며 널리 사용되고 있는 팔꿈치 기준의 사용을 도전하기 위해.
• 팔꿈치 방법은 구형이 아니거나 겹치거나 비정규 분포를 띠는 데이터에 자주 실패하여 잘못된 군집 수를 유도한다는 점을 강조하기 위해.
• 칼린스키-하라바슈 VRC, 베이지안 정보 기준(BIC), 갭 통계와 같은 기존에 검증된 더 견고한 대안을 k-선택을 위해 홍보하기 위해.
• 교육자, 실무자, 심사위원들이 팔꿈치 방법에 기반한 결론을 지지하거나 수용하는 것을 중단하고 더 신뢰할 수 있는 평가 기법을 채택할 것을 촉구하기 위해.
• 군집 분석을 탐색적 과정으로 재정의하여, 여러 유효한 해가 존재할 수 있고 '최적의' k는 본질적으로 주관적이라는 점을 강조하기 위해.

제안 방법

• 칼린스키와 하라바슈의 분산 비율 기준(VRC)을 팔꿈치 방법 대신 사용하여, 군집 간 분리도를 군집 내 분산에 비해 평가하도록 제안한다.
• 모델 적합도와 복잡도의 균형을 맞추기 위해 베이지안 정보 기준(BIC)을 사용하여 과적합을 방지하기 위해 군집 수와 데이터 포인트 수를 포함한다.
• 갈리스터 기반 비교를 통해 실제 군집 구조가 무작위 노이즈와 얼마나 다를지를 평가하는 갭 통계를 지지하며, 이를 통해 실제 군집의 존재를 식별하는 k를 찾는다.
• 이러한 대안들은 히وري스틱인 팔꿈치 방법과 달리 통계 이론에 기반하고 있으며 이전 문헌에서 검증된 바가 있다.
• 이러한 방법들은 쉽게 구현하고 해석할 수 있어 교육 및 연구 현장 모두에 적합하다고 제안한다.
• k-means 자체는 구형, 동일 크기의 군집과 등방성 분산을 가정하므로, 어떤 k-선택 방법이든 이러한 기본 가정을 고려해야 한다고 강조한다.

실험 결과

연구 질문

• RQ1 왜 팔꿈치 기준은 k-means 군집화에서 최적의 군집 수를 결정하는 데에 신뢰할 수 없는가?
• RQ2 기존의 대안인 VRC, BIC, 갭 통계는 일관성과 이론적 타당성 측면에서 팔꿈치 방법보다 어떻게 뛰어나게 되는가?
• RQ3 팔꿈치 방법이 실패하는 데이터 시나리오는 무엇이며, 이러한 실패가 실생활 군집 응용에서의 사용을 약화시키는 이유는 무엇인가?
• RQ4 학술 연구와 데이터 과학 실무에서 팔꿈치 방법에 의존할 경우 어떤 영향을 미치는가?
• RQ5 교육자와 심사위원은 어떻게 더 견고한 평가 기법으로 팔꿈치 방법을 대체함으로써 군집 분석의 질을 향상시킬 수 있는가?

주요 결과

• 팔꿈치 방법은 균일한 노이즈나 다변량 정규 분포와 같은 비정규, 비구형, 겹치는 데이터에서 자주 오류를 일으킨다.
• 실제로 자연스러운 군집이 없는 데이터에서도 팔꿈치 플롯이 유사한 '팔꿈치' 형태를 보이므로, 구분 능력이 떨어진다.
• 칼린스키-하라바슈 VRC, BIC, 갭 통계는 잘 분리된 군집, 겹치는 군집, 복잡한 형태의 군집을 포함한 다양한 데이터 유형에서 팔꿈치 방법을 일관되게 능가한다.
• VRC와 BIC는 수학적으로 기반을 두고 있으며 모델 복잡도를 페널티로 줄여, 허구적 군집 구조에 과적합될 위험을 줄인다.
• 갭 통계는 원칙적인 기반을 가진 기준 기반 비교를 제공하여 실제 군집 구조와 무작위 노이즈를 가장 잘 구분하는 k를 식별한다.
• 논문은 군집 분석에서 단일한 '최적의' k가 존재하지 않으며, 여러 해가 유효할 수 있음을 결론 내리며, 이에 따라 신뢰할 수 있는 해석을 위해 견고한 평가 방법이 필수적이라고 주장한다.