[논문 리뷰] A bi-criteria approximation algorithm for $k$ Means

Konstantin Makarychev, Yury Makarychev외 2명|arXiv (Cornell University)|2015. 07. 15.

Facility Location and Emergency Management참고 문헌 13인용 수 10

한 줄 요약

이 논문은 정확히 k개의 클러스터가 아니라 βk개의 클러스터를 열 수 있도록 허용하는 이기준(approximation) 알고리즘을 제시한다. 이로 인해 β가 증가함에 따라 감소하는 더 나은 근사 비율 α(β)를 달성할 수 있다. 방법론은 선형계획법 절단과 국소 탐색을 사용하며, α(β) ≤ 9+ε 및 α(2) < 2.59, α(3) < 1.4 보장과 함께 차원에 대해 다항식적 의존성을 가지며, 고차원 환경에서도 효과적이다.

ABSTRACT

We consider the classical $k$-means clustering problem in the setting bi-criteria approximation, in which an algoithm is allowed to output $βk &gt; k$ clusters, and must produce a clustering with cost at most $α$ times the to the cost of the optimal set of $k$ clusters. We argue that this approach is natural in many settings, for which the exact number of clusters is a priori unknown, or unimportant up to a constant factor. We give new bi-criteria approximation algorithms, based on linear programming and local search, respectively, which attain a guarantee $α(β)$ depending on the number $βk$ of clusters that may be opened. Our gurantee $α(β)$ is always at most $9 + ε$ and improves rapidly with $β$ (for example: $α(2)&lt;2.59$, and $α(3) &lt; 1.4$). Moreover, our algorithms have only polynomial dependence on the dimension of the input data, and so are applicable in high-dimensional settings.

연구 동기 및 목표

• 정확한 클러스터 수 k가 불확실하거나 상수 요인 내에서 중요하지 않은 경우 k-means 클러스터링 문제를 해결하기 위해.
• 정확히 k개의 클러스터가 아닌 βk > k개의 클러스터를 사용함으로써, 정확히 k개의 클러스터를 사용할 때보다 더 나은 근사 비율을 달성할 수 있는 이기준 근사 알고리즘을 개발하기 위해.
• 고차원 데이터 환경에서의 적용 가능성을 보장하기 위해 차원에 대해 다항식적 의존성을 가지는 알고리즘을 제공하기 위해.
• 클러스터 수에 대한 약간의 유연성(relaxation)을 활용하여 기존의 상수 요인 근사 알고리즘을 향상시키기 위해.

제안 방법

• 알고리즘은 차원 축소를 통해 다항식 크기의 후보 중심 집합을 보장하는 이산 후보 중심 집합을 가진 k-중심 문제로 k-means 문제를 환원한다.
• 선형계획법 절단을 사용하여 βk개의 중심을 선택하며, 근사 비율이 유한하게 유지되도록 하는 절단 방식을 사용한다.
• 국소 탐색 알고리즘을 사용하며, 중심 집합 간의 교체 비용을 커버리지 및 포착 성질에 따라 가중치를 두어 비용 증가를 제한한다.
• 분석은 각 최적 중심이 총 무게 β를 가지는 교체 조합에 포함되며, 각 현재 중심은 최대 (1+1/p)의 무게를 가지는 가중치 조합을 구성한다. 이를 통해 비용 비교가 가능해진다.
• 핵심 구조적 성질을 활용한다: 임의의 교체에 대해 비용 변화는 점들이 이전 중심과 새 중심으로부터의 거리 차이로 유계된다.
• 최종 근사 비율은 가중치 비용 부등식을 조합하고, k-중심 비용과 k-means 비용 간의 관계를 정리하기 위해 정리 7을 적용함으로써 유도되며, α(β) ≤ (1 + 2/β + 2/(βp))² / (1−O(ε))를 도출한다.

실험 결과

연구 질문

• RQ1 비정확한 클러스터 수를 약간 초과하는 것만으로도 기존의 상수 요인 근사 알고리즘보다 더 나은 근사 비율을 달성할 수 있는 이기준 k-means 근사 알고리즘이 존재하는가?
• RQ2 β > 1일 때 근사 비율 α(β)는 어떻게 감소하며, 작은 β 값에 대해 어떤 정량적 이득이 있는가?
• RQ3 이러한 알고리즘이 데이터 차원 p에 대해 다항식적 의존성을 유지할 수 있는가? 이는 고차원 환경에서의 확장 가능성을 보장한다.
• RQ4 클러스터 수 제약 조건을 완화한 상황에서, 증명 가능성이 있는 이기준 보장을 갖는 k-means에 대한 국소 탐색 알고리즘을 설계할 수 있는가?

주요 결과

• 알고리즘은 α(β) ≤ (1 + 2/β + 2/(βp))² / (1−O(ε))의 근사 비율을 달성하며, 이는 항상 최대 9+ε이며 β가 증가함에 따라 급격히 감소한다.
• β=2일 때 근사 비율은 2.59보다 작으며, 이는 이전 결과보다 훨씬 낮은 비용을 달성함에도 불구하고 거의 10배 더 많은 중심이 필요한 것으로 알려져 있었다.
• β=3일 때 근사 비율은 1.4 이하로 떨어지며, 오직 3k개의 중심만으로도 거의 최적의 성능을 달성함을 보여준다.
• β가 1에 가까운 경우 국소 탐색 알고리즘이 LP 기반 방법보다 우수하며, β가 큰 경우 LP 기반 방법이 우세하여 상호보완적인 강점을 보인다.
• 알고리즘은 점의 수와 차원에 대해 다항식 시간 내에 실행되어 고차원 데이터에 대한 확장성 보장한다.
• β=1.3일 때 α(β) < 6.45, β=1.5일 때 α(β) < 4.8를 달성하며, 클러스터 수와 해의 품질 간의 강력한 트레이드오프를 보여준다.