[논문 리뷰] A Constant-Factor Bi-Criteria Approximation Guarantee for $k$-means++

Dennis Wei|arXiv (Cornell University)|2016. 05. 16.

Advanced Clustering Algorithms Research참고 문헌 27인용 수 12

한 줄 요약

이 논문은 $k$-means++ 알고리즘과 그 일반화인 $D^{\text{\textbackslash}ell}$ 샘플링에 대해, 임의의 상수 $\beta > 1$에 대해 $\beta k$개의 중심을 선택할 경우, 최적의 $k$-클러스터링 비용에 대해 일정 요소의 이분기준 근사 보장을 제공함을 보여준다. 이는 데이터셋에 관계없이 기대 비용이 최적 비용의 일정 요소 이내임을 의미한다. 이 결과는 이전의 $O(\log k)$ 보장을 향상시키며, 이전의 일정 요소 근사 결과들과 달리 기대 기반 보장(기대값 기반 보장)을 제공한다.

ABSTRACT

This paper studies the $k$-means++ algorithm for clustering as well as the class of $D^\ell$ sampling algorithms to which $k$-means++ belongs. It is shown that for any constant factor $β> 1$, selecting $βk$ cluster centers by $D^\ell$ sampling yields a constant-factor approximation to the optimal clustering with $k$ centers, in expectation and without conditions on the dataset. This result extends the previously known $O(\log k)$ guarantee for the case $β= 1$ to the constant-factor bi-criteria regime. It also improves upon an existing constant-factor bi-criteria result that holds only with constant probability.

연구 동기 및 목표

• 보다 많은 중심을 선택할 경우 $k$-means++와 $D^{\ell}$ 샘플링에 대해 일정 요소의 이분기준 근사 보장을 확립하기.
• 정확히 $k$개의 중심을 사용할 경우 $D^{\ell}$ 샘플링에 대한 이전의 기대 근사 요소 $O(\log k)$ 보다 향상시키기.
• 높은 확률에 기반한 보장이 아닌 기대 기반 보장을 제공함으로써 데이터셋 간의 강건성을 향상시키기.
• 임의의 $\beta > 1$에 대해 $\beta k$개의 중심을 선택할 경우, 최적의 $k$-클러스터링 비용에 대해 기대 기반으로 일정 요소 근사가 달성됨을 보여주기.
• 정확하거나 복잡한 근사 기법의 대안으로 단순한 $D^{\ell}$ 샘플링을 활용하고 이분기준 트레이드오프를 도입함으로써 실용적인 대안 제공하기.

제안 방법

• $D^{\ell}$ 샘플링을 사용하여 $\beta k$개의 클러스터 중심을 선택하며, 선택 확률은 각 점이 가장 가까운 중심까지의 현재 비용에 비례한다.
• 점들이 선택된 중심까지의 거리의 $\ell$제곱 합을 추적하기 위해 잠재 함수 $\phi$를 적용한다.
• 선택된 중심 수가 $\beta k$에 도달했을 때의 기대 최종 잠재 함수 $\mathbb{E}[\phi^\prime]$를 유계로 제한하기 위해 재귀적 분석 프레임워크를 사용한다.
• 미확정된 클러스터 수와 남은 중심 수에 따라 기대 잠재 함수를 유계로 제한하는 계수 함수 $c_{\mathcal{V}}(t,u)$ 및 $c_{\mathcal{U}}(t,u)$를 유도한다.
• 레미마 3을 활용하여, 적어도 하나의 최적 클러스터를 커버하는 조건 하에 각 중심 선택 후의 기대 잠재 함수를 유계로 제한한다.
• Arthur와 Vassilvitskii(2007)의 기존 결과를 결합하여 기대 근사 비율에 대한 날카운 상한선을 유도한다.

실험 결과

연구 질문

• RQ1 $\beta > 1$일 때 $D^{\ell}$ 샘플링을 통해 $\beta k$개의 중심을 선택할 경우, 최적의 $k$-클러스터링 비용에 대해 기대 기반으로 일정 요소 근사가 달성될 수 있는가?
• RQ2 표준 $k$-센터 케이스와 비교했을 때, $k$개 이상의 중심을 사용할 경우 $D^{\ell}$ 샘플링의 근사 요소는 어떻게 향상되는가?
• RQ3 높은 확률에 기반한 보장이 아닌 기대 기반 보장으로 일정 요소의 이분기준 근사 보장을 달성할 수 있는가?
• RQ4 $\beta k$개의 중심을 선택할 경우 $D^{\ell}$ 샘플링이 달성할 수 있는 최고의 근사 요소는 무엇이며, 이는 $\ell$에 따라 어떻게 달라지는가?
• RQ5 동일한 최적 클러스터에서 여러 개의 중심이 선택되는 경우를 고려하여 분석을 정교화할 수 있는가, 이를 통해 유계를 향상시킬 수 있는가?

주요 결과

• $D^{\ell}$ 샘플링을 통해 $\beta k$개의 중심을 선택할 경우, 임의의 상수 $\beta > 1$에 대해 최적의 $k$-클러스터링 비용에 대해 기대 기반으로 일정 요소 근사가 달성된다.
• 기대 근사 요소는 $r_D^{(\ell)} \left(1 + \frac{\varphi(k-2)}{(\beta-1)k + \varphi}\right) - \frac{2C}{n}$로 유계로 제한되며, 여기서 $\varphi = \frac{1+\sqrt{5}}{2}$ 이고 $C$는 음이 아닌 표현식이다.
• 이 결과는 정확히 $k$개의 중심을 사용할 경우 $k$-means++의 $O(\log k)$ 기대 근사 요소를 향상시킨다.
• 이 보장은 모든 데이터셋과 모든 차원에서 유효하며, 분포나 기하학적 가정 없이도 성립한다.
• 분석 결과, $\beta$가 증가할수록 근사 요소가 감소하며, 이는 이전의 일정 요소 결과보다 더 날카운 유계를 제공한다. 다만 이전 결과는 일정 확률로만 성립했다.
• 이 프레임워크를 통해 선형 프로그래밍을 통한 후처리를 통해 $k$-센터 해를 회복하면서도 일정 요소 근사 보장을 유지할 수 있다.