[논문 리뷰] Greedy bi-criteria approximations for $k$-medians and $k$-means

Daniel Hsu, Matus Telgarsky|arXiv (Cornell University)|2016. 07. 21.

Complexity and Algorithms in Graphs참고 문헌 22인용 수 5

한 줄 요약

이 논문은 반복적으로 후보 집합에서 중심을 선택하여 클러스터링 비용을 최소화하는 근사 알고리즘을 제안한다. $k$-medians 및 $k$-means 클러스터링에 대해 근사 비용이 $1+\varepsilon$ 이내가 되도록 $\mathcal{O}(k\log(1/\varepsilon))$개의 중심을 사용하며, 모든 데이터 포인트 또는 철저히 샘플링된 후보 집합을 사용한다. 이는 이전 방법 대비 빠른 런타임을 제공하며, 실험적으로 $k$-means++와 동일하거나 그 이상의 성능을 달성한다.

ABSTRACT

This paper investigates the following natural greedy procedure for clustering in the bi-criterion setting: iteratively grow a set of centers, in each round adding the center from a candidate set that maximally decreases clustering cost. In the case of $k$-medians and $k$-means, the key results are as follows. $\bullet$ When the method considers all data points as candidate centers, then selecting $\mathcal{O}(k\log(1/\varepsilon))$ centers achieves cost at most $2+\varepsilon$ times the optimal cost with $k$ centers. $\bullet$ Alternatively, the same guarantees hold if each round samples $\mathcal{O}(k/\varepsilon^5)$ candidate centers proportionally to their cluster cost (as with $ exttt{kmeans++}$, but holding centers fixed). $\bullet$ In the case of $k$-means, considering an augmented set of $n^{\lceil1/\varepsilon ceil}$ candidate centers gives $1+\varepsilon$ approximation with $\mathcal{O}(k\log(1/\varepsilon))$ centers, the entire algorithm taking $\mathcal{O}(dk\log(1/\varepsilon)n^{1+\lceil1/\varepsilon ceil})$ time, where $n$ is the number of data points in $\mathbb{R}^d$. $\bullet$ In the case of Euclidean $k$-medians, generating a candidate set via $n^{\mathcal{O}(1/\varepsilon^2)}$ executions of stochastic gradient descent with adaptively determined constraint sets will once again give approximation $1+\varepsilon$ with $\mathcal{O}(k\log(1/\varepsilon))$ centers in $dk\log(1/\varepsilon)n^{\mathcal{O}(1/\varepsilon^2)}$ time. Ancillary results include: guarantees for cluster costs based on powers of metrics; a brief, favorable empirical evaluation against $ exttt{kmeans++}$; data-dependent bounds allowing $1+\varepsilon$ in the first two bullets above, for example with $k$-medians over finite metric spaces.

연구 동기 및 목표

• 최적에 가까운 클러스터링 비용을 달성하면서 $k$보다 약간 더 많은 중심을 사용하는 탐욕 알고리즘을 설계하여, 이중기준 설정에서 효율적인 근사가 가능하도록 한다.
• 기존의 $k$-means 및 $k$-median 근사 알고리즘보다 런타임을 줄이면서도 강력한 근사 보장을 유지하도록 개선한다.
• 후보 집합의 구성 방식(모든 데이터 포인트, 부분 샘플링된 포인트, 평균 기반 후보 집합 포함)에 따라 탐욕 중심 선택의 성능을 분석한다.
• 문제의 구조와 초기화에 따라 달라지는 이론적 근사 한계를 제공하며, 데이터에 따라 개선 가능한 결과를 도출한다.

제안 방법

• 알고리즘은 각 반복에서 총 클러스터링 비용을 가장 크게 감소시키는 중심을 후보 집합에서 선택하는 탐욕적 반복 절차를 사용한다.
• 후보 집합은 'select'라는 루틴을 통해 적응적으로 구성되며, 이는 모든 데이터 포인트, 비용 감소 비율에 비례하는 부분 샘플링된 집합, 또는 크기가 $\lceil 1/\varepsilon \rceil$인 부분집합의 평균을 반환할 수 있다.
• $k$-means의 경우, 모든 크기 $\lceil 1/\varepsilon \rceil$인 부분집합으로부터 $n^{\lceil 1/\varepsilon \rceil}$개의 후보 중심을 생성하여, $\mathcal{O}(k\log(1/\varepsilon))$개의 중심으로 $1+\varepsilon$ 근사 비용을 달성한다.
• 유클리드 $k$-medians의 경우, 적응형 제약 조건이 적용된 $n^{\mathcal{O}(1/\varepsilon^2)}$회의 확률적 경사 하강법 실행을 통해 후보 중심을 생성하며, 총 시간 복잡도는 $\mathcal{O}(dk\log(1/\varepsilon)n^{\mathcal{O}(1/\varepsilon^2)})$ 내에서 $1+\varepsilon$ 근사 비용을 달성한다.
• 분석은 새로운 비용 분해와 부피 기반 샘플링 추론을 활용하여, 특히 일반화된 $p$-노름 $k$-median 설정에서 근사 인자의 상한을 도출한다.
• 핵심 기술적 구성 요소는 추정된 비용 비례 반경을 가진 구 내에서 샘플링하는 확률적 샘플링 전략으로, 높은 확률로 좋은 중심을 커버한다.

실험 결과

연구 질문

• RQ1 모든 데이터 포인트를 후보 중심으로 사용할 때, $\mathcal{O}(k\log(1/\varepsilon))$개의 중심만으로 $k$-means 및 $k$-medians에 대해 $1+\varepsilon$ 근사 비용을 달성할 수 있는가?
• RQ2 런타임이 $n$과 $d$에 대해 다항식이면서도 강력한 근사 보장을 제공할 수 있는 후보 집합 구성 방법은 무엇인가?
• RQ3 특히 $k$-means++ 중심으로 초기화된 경우, 실용적으로 탐욕 알고리즘의 성능은 $k$-means++와 어떻게 비교되는가?
• RQ4 입력에 강력한 가정 없이도 데이터 기반의 한계가 근사 인자를 향상시킬 수 있는가?
• RQ5 탐욕적 이중기준 클러스터링에서 근사 품질, 중심 수, 런타임 간의 상충 관계는 어떠한가?

주요 결과

• 모든 데이터 포인트를 후보 중심으로 사용할 경우, $\mathcal{O}(k\log(1/\varepsilon))$개의 중심이 최적의 $k$-센터 비용의 $2+\varepsilon$ 이내로 비용을 유지한다.
• 유사한 $k$-means++ 방식으로 $\mathcal{O}(k/\varepsilon^5)$개의 부분 샘플링된 후보를 사용할 경우, 여전히 $\mathcal{O}(k\log(1/\varepsilon))$개의 중심으로 $2+\varepsilon$ 근사 비용을 달성한다.
• $k$-means의 경우, 모든 크기 $\lceil 1/\varepsilon \rceil$인 부분집합을 후보 중심으로 사용하면 $\mathcal{O}(k\log(1/\varepsilon))$개의 중심으로 $1+\varepsilon$ 근사 비용을 달성하며, 런타임은 $\mathcal{O}(dk\log(1/\varepsilon)n^{1+\lceil 1/\varepsilon \rceil})$이다.
• 유클리드 $k$-medians의 경우, $n^{\mathcal{O}(1/\varepsilon^2)}$회의 SGD 실행을 통해 후보 중심을 생성하면 $\mathcal{O}(k\log(1/\varepsilon))$개의 중심으로 $1+\varepsilon$ 근사 비용을 달성하며, 총 시간 복잡도는 $\mathcal{O}(dk\log(1/\varepsilon)n^{\mathcal{O}(1/\varepsilon^2)})$이다.
• 실험 결과, $k$-means++ 기반 샘플링을 사용한 탐욕 방법이 다섯 개인 UCI 데이터셋에서 중앙값 및 최소 비용 모두에서 $k$-means++를 초월하는 성능을 보였다. 이는 $k$-means++로 초기화된 경우에도 동일하게 성립한다.
• 분석 결과, 데이터 기반의 한계는 근사 인자를 향상시킬 수 있으며, 데이터의 특정 구조적 가정 하에 $\mathcal{O}(k\log(1/\varepsilon))$개의 중심으로 $1+\varepsilon$ 근사 비용을 달성할 수 있음을 보여준다.