[논문 리뷰] A More Precise Elbow Method for Optimum K-means Clustering

Indra Herdiana, Maryam Kamal외 3명|ArXiv.org|2025. 02. 02.

Advanced Clustering Algorithms Research인용 수 6

한 줄 요약

이 논문은 SSE(k)와의 기울과 유도된 공식으로 임계 각도를 계산하여 엘보를 식별하는 목적 함수 각도 기반 기준을 도입함으로써 K-means에서 K를 선택하는 엘보 방법을 제시한다.

ABSTRACT

K-means clustering is an unsupervised clustering method that requires an initial decision of number of clusters. One method to determine the number of clusters is the elbow method, a heuristic method that relies on visual representation. The method uses the number based on the elbow point, the point closest to 90 degrees that indicates the most optimum number of clusters. This research improves the elbow method such that it becomes an objective method. We use the analytical geometric formula to calculate an angle between lines and real analysis principle of derivative to simplify the elbow point determination. We also consider every possibility of the elbow method graph behaviour such that the algorithm is universally applicable. The result is that the elbow point can be measured precisely with a simple algorithm that does not involve complex functions or calculations. This improved method gives an alternative of more reliable cluster determination method that contributes to more optimum k-means clustering.

연구 동기 및 목표

• SSE(k) 플롯에서 시각적 검사 대신 객관적인 기하학적 기준으로 엘보 포인트를 정량화한다.
• 엘보를 식별하기 위해 인접 SSE-라인 구간 사이의 각도를 계산하는 공식을 개발한다.
• 방법이 서로 다른 그래프 동작을 고려하고 데이터세트 전반에 보편적으로 적용 가능하도록 보장한다.

제안 방법

• SSE(k) 플롯을 연속 (k, SSE(k)) 점들 사이의 선들로 형성된 조각선형 함수로 모델링한다.
• 연속하는 SSE-라인 구간 사이의 각도를 사용하여 엘보 후보 척도 tan(ψ_k)를 닫힌 형태의 공식으로 정의한다.
• 경계 케이스를 제외하고 선의 기울기 동작을 고려하여 유효한 k 중에서 tan(ψ_k)가 최소가 되는 지점을 엘보로 선택한다.
• 효율성과 이식성을 위해 역삼각함수 없이 표준 산술 연산을 사용하는 보편적 구현을 제공한다.
• slope-decreasing 가정이 실패하는 경우를 처리하기 위한 대안/정리(Theorem 2.5)를 제시하며 certain 코너를 무시하는 조건을 추가한다.
• SSE, tan(ψ_k), 최적의 k를 계산하는 의사코드와 파이썬 예제를 포함한다.

실험 결과

연구 질문

• RQ1 SSE(k)에서 엘보 포인트를 주관적 시각 검사 없이 어떻게 식별할 수 있는가?
• RQ2 연속 SSE 구간 간의 각도를 바탕으로 순전히 기하학적 기준으로 엘보를 결정할 수 있는가?
• RQ3 제안된 각도 기반 방법은 왜곡되거나 비표준적인 SSE 플롯을 어떻게 처리하는가?
• RQ4 일부 코너를 무시하는 것이 엘보 검출의 강건성에 어떤 영향을 미치는가?
• RQ5 일반적인 데이터세트와 프로그래밍 언어에서 효율적으로 구현 가능한가?

주요 결과

• 엘보 포인트는 tan(ψ_k)가 최소가 되는 SSE(k) 지점으로 결정될 수 있다.
• 각 ψ_k는 SSE(k−1), SSE(k), SSE(k+1)을 포함하는 닫힌 형태의 표현을 통해 계산된다.
• 경계 조건과 선택적 처리를 도입하여 위향하는 코너와 왜곡을 고려한다.
• 보조 정리를 통해 2차 기울기 조건이 성립하지 않는 경우에 대한 추가 제약을 포함하여 방법을 확장한다.
• 표준 산술로 SSE, tan(ψ_k), 최적의 k를 계산하는 방법을 보여주는 실용적인 파이썬 구현이 있다.