[논문 리뷰] A balanced k-means algorithm for weighted point sets

Steffen Borgwardt, Andreas Brieden외 1명|arXiv (Cornell University)|2013. 08. 19.

Data Management and Algorithms참고 문헌 33인용 수 4

한 줄 요약

이 논문은 클러스터 크기의 하한 및 상한을 고려하여 가중치가 부여된 점 집합을 다룰 수 있도록 고전적 k-means를 확장하는 가중치 균형 잡힌 k-means 알고리즘을 제안한다. 할당 단계를 가중치 균형 잡힌 분할 다면체 위의 선형 프로그램으로 모델링하고 다면체 이론을 활용함으로써, 최대 $(40ek^2n)^{(d+1)k-1}$회 반복 이내에 유한 수렴을 증명하며, 고정된 $k$와 $d$에 대해 다항식 시간 종료 보장한다. 이 방법은 부분 소속 클러스터링을 지원하며, 비선형 데이터에 대한 커널화를 가능하게 한다.

ABSTRACT

The classical $k$-means algorithm for partitioning $n$ points in $\mathbb{R}^d$ into $k$ clusters is one of the most popular and widely spread clustering methods. The need to respect prescribed lower bounds on the cluster sizes has been observed in many scientific and business applications. In this paper, we present and analyze a generalization of $k$-means that is capable of handling weighted point sets and prescribed lower and upper bounds on the cluster sizes. We call it weight-balanced $k$-means. The key difference to existing models lies in the ability to handle the combination of weighted point sets with prescribed bounds on the cluster sizes. This imposes the need to perform partial membership clustering, and leads to significant differences. For example, while finite termination of all $k$-means variants for unweighted point sets is a simple consequence of the existence of only finitely many partitions of a given set of points, the situation is more involved for weighted point sets, as there are infinitely many partial membership clusterings. Using polyhedral theory, we show that the number of iterations of weight-balanced $k$-means is bounded above by $n^{O(dk)}$, so in particular it is polynomial for fixed $k$ and $d$. This is similar to the known worst-case upper bound for classical $k$-means for unweighted point sets and unrestricted cluster sizes, despite the much more general framework. We conclude with the discussion of some additional favorable properties of our method.

연구 동기 및 목표

• 실제 응용 분야에서 클러스터 크기가 제한되어야 하는 요구사항을 해결하기 위해, 특히 데이터 분석, 위험 예측 및 농업용 토지 통합 분야에서 클러스터 크기 제약이 필요한 제약 조건이 있는 클러스터링을 다루는 것.
• 점들이 개별 가중치를 가진 가중치가 부여된 점 집합을 다룰 수 있도록 고전적 k-means를 확장하여, 반복되거나 가치가 있는 데이터 포인트(예: 중복 또는 가중치가 있는 포인트)를 처리할 수 있도록 하는 것.
• 클러스터 크기의 하한 및 상한을 통합함으로써 유한하고 제한된 수렴을 보장하여 빈 클러스터를 방지하고 균형 잡힌 분할을 강제하는 것.
• 선형 프로그래밍을 활용하여 타당한 크기 제약이 있는 클러스터링을 지원하는, 일반화된 베이지안 다이어그램(일반화된 베이지안 다이어그램)으로 일반화된 프레임워크를 개발하는 것.
• 무한한 부분 소속 클러스터링 가능성에도 불구하고, 알고리즘의 이론적 수렴 보장을 확립하는 것.

제안 방법

• 가중치 균형 잡힌 최소 제곱 할당을 가중치 균형 잡힌 분할 다면체 위의 선형 프로그램으로 모델링하여, 크기 제약 조건을 충족하는 타당한 클러스터링을 표현한다.
• 제약 조건을 사용하여 타당 영역을 정의한다: (1) 클러스터 무게 제약 $\kappa_i^- \leq \sum_j \omega_j y_{ij} \leq \kappa_i^+$, (2) 완전 할당 $\sum_i y_{ij} = 1$, (3) 음수 아님 조건 $y_{ij} \geq 0$.
• 정점 기반 개선: 해 $y^*$가 다면체의 정점이면, 정수 할당($y_{ij} \in \{0,1\}$)을 고정하고 제약 영역을 $Q(y^*)$로 제한한 후 재해결하는 방식으로 진행한다.
• 다면체 이론을 적용하여 제약 다면체 $Q(y^*)$의 정점 수를 근사한다. 이는 최대 $2(k-1)$개의 분수 변수가 존재하므로 $\binom{5k-2}{2(k-1)} \leq (5k)^{2k-2}$ 이하로 제한된다.
• 제약 다면체의 정점 수를 제한함으로써, 제약 다면체의 정점 수가 최대 $\binom{5k-2}{2(k-1)} \leq (5k)^{2k-2}$ 이하로 제한됨을 보장한다.
• 내부 곱 $x_j^T s_i$ 를 커널 함수 $\Phi(x_j, s_i)$ 로 대체함으로써 커널화를 가능하게 하여, 알고리즘의 구조를 유지하면서도 비선형 클러스터링을 지원한다.

실험 결과

연구 질문

• RQ1 고전적 k-means 알고리즘은 어떻게 가중치가 부여된 점 집합과 함께 클러스터 크기의 하한 및 상한을 고려하여 일반화될 수 있는가?
• RQ2 가중치 제약으로 인해 부분 소속 클러스터링이 필요할 경우, 이러한 일반화된 k-means 알고리즘의 이론적 수렴 행동은 어떠한가?
• RQ3 가중치 설정에서 부분 소속 클러스터링의 가능성 수가 비가산 무한대임에도 불구하고, 유한 종료를 보장할 수 있는가?
• RQ4 수렴에 필요한 최대 반복 횟수는 얼마이며, 이는 $n$, $k$, $d$ 에 대해 다항식으로 유계일 수 있는가?
• RQ5 알고리즘은 어떻게 효율적으로 구현되고, 커널 방법을 통해 비선형 데이터로 확장될 수 있는가?

주요 결과

• 가중치 균형 잡힌 k-means 알고리즘은 최대 $(40ek^2n)^{(d+1)k-1}$회 반복 이내에 유한 수렴을 보장하며, 고정된 $k$와 $d$에 대해 $n$에 대해 다항식 시간이다.
• 타당한 강력한 가용성의 파워 다이어그램 수—타당한 클러스터 구성에 해당—는 $\left(\frac{8e(k-1)n}{d}\right)^{(d+1)k-1}$ 이하로 제한되며, 이는 고유한 클러스터 할당 수에 대한 이론적 상한을 제공한다.
• 정수 할당을 고정한 후 제약 영역 $Q(y^*)$의 정점 수는 최대 $(5k)^{2k-2}$ 이하이므로, 알고리즘 실행 중에 동일한 정점이 재방문되지 않음을 보장한다.
• 알고리즘은 온도 시작(워밍 스타트)을 지원한다. 타당 영역이 반복 간에 변하지 않기 때문에 이전 최적 할당 $y^*$는 여전히 타당하며 시작점으로 사용할 수 있다.
• 이 방법은 표준 내적을 커널 함수 $\Phi(x_j, s_i)$ 로 대체함으로써 자연스럽게 커널화 가능하며, 알고리즘의 구조를 변경하지 않으면서도 비선형 클러스터링을 가능하게 한다.
• 이 프레임워크는 가중치와 크기 제약 조건을 통합함으로써 고전적 k-means와 베이지안 다이어그램을 일반화하여, 데이터 마이닝, 예측 유지보수 및 토지 통합 분야에서의 응용 가능성을 제공한다.