[논문 리뷰] A simple D^2-sampling based PTAS for k-means and other Clustering Problems

Ragesh Jaiswal, Amit Kumar외 1명|arXiv (Cornell University)|2012. 01. 20.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 $k$-means 문제에 대한 간단한 랜덤화된 $(1+\epsilon)$-근사 알고리즘을 제안하며, 핵심 메커니즘으로 $D^2$-샘플링을 사용한다. 반복적으로 $D^2$-샘플링을 통해 점들을 추출하고, 이들에서 중심점을 선택함으로써, $O(nd \cdot 2^{\tilde{O}(k^2/\epsilon)})$ 시간 내에 $(1+\epsilon)$-근사해를 달성한다. 이는 복잡한 코어셋 기반 PTAS 접근법에 대한 깔끔한 대안을 제공한다.

ABSTRACT

Given a set of points $P \subset \mathbb{R}^d$, the $k$-means clustering problem is to find a set of $k$ {\em centers} $C = \{c_1,...,c_k\}, c_i \in \mathbb{R}^d,$ such that the objective function $\sum_{x \in P} d(x,C)^2$, where $d(x,C)$ denotes the distance between $x$ and the closest center in $C$, is minimized. This is one of the most prominent objective functions that have been studied with respect to clustering. $D^2$-sampling \cite{ArthurV07} is a simple non-uniform sampling technique for choosing points from a set of points. It works as follows: given a set of points $P \subseteq \mathbb{R}^d$, the first point is chosen uniformly at random from $P$. Subsequently, a point from $P$ is chosen as the next sample with probability proportional to the square of the distance of this point to the nearest previously sampled points. $D^2$-sampling has been shown to have nice properties with respect to the $k$-means clustering problem. Arthur and Vassilvitskii \cite{ArthurV07} show that $k$ points chosen as centers from $P$ using $D^2$-sampling gives an $O(\log{k})$ approximation in expectation. Ailon et. al. \cite{AJMonteleoni09} and Aggarwal et. al. \cite{AggarwalDK09} extended results of \cite{ArthurV07} to show that $O(k)$ points chosen as centers using $D^2$-sampling give $O(1)$ approximation to the $k$-means objective function with high probability. In this paper, we further demonstrate the power of $D^2$-sampling by giving a simple randomized $(1 + ε)$-approximation algorithm that uses the $D^2$-sampling in its core.

연구 동기 및 목표

• 단순하고 효율적인 $(1+\epsilon)$-근사 알고리즘을 $k$-means 클러스터링 문제에 대해 개발하기.
• $D^2$-샘플링만으로 복잡한 코어셋 구축 없이도 $k$-means와 유사한 클러스터링 목표 함수에 대해 PTAS를 도출할 수 있음을 보여주기.
• $D^2$-샘플링의 적용 범위를 마할라노비스 거리 및 $\mu$-유사 Bregman 발산과 같은 다른 거리 척도로 확장하기.
• 상수 $k$에 대해 $O(nd \cdot 2^{\tilde{O}(k^2/\epsilon)})$ 시간 복잡도를 가지며 런타임 효율적인 알고리즘 제공하기. 이는 이전의 접근법을 단순화한다.

제안 방법

• 알고리즘은 기존에 선택된 중심점들로부터의 거리에 비례하여 점들을 반복적으로 샘플링함으로써, 작은 후보 점 집합을 선택한다.
• 각 샘플링된 집합에서 부분 집합의 중심점을 선택하여 다음 중심점으로 삼으며, 다양성과 대표성을 확보한다.
• 이 과정를 $k$개의 중심점이 선택될 때까지 반복하며, 높은 확률로 $(1+\epsilon)$-근사해를 도출한다.
• 이 방법은 $(f,\gamma,\delta)$-샘플링 성질과 $D^2$-샘플링 하에서 중심점의 안정성에 기반하여 근사 보장을 확보한다.
• 이론적 분석은 거리 함수의 대칭성, 삼각 부등식 및 중심점 성질을 활용하여 근사 오차를 근사한다.
• 마할라노비스 거리 및 $\mu$-유사 Bregman 발산에 대해서는, 이들이 요구 조건을 충족함을 확인함으로써 알고리즘을 확장한다.

실험 결과

연구 질문

• RQ1 $D^2$-샘플링만으로도 코어셋 구축 없이 $k$-means 문제에 대한 단순한 PTAS를 설계할 수 있는가?
• RQ2 $D^2$-샘플링 기반 알고리즘이 $k$-means 문제에 대해 $(1+\epsilon)$-근사해를 달성할 경우의 런타임 복잡도는 무엇인가?
• RQ3 $D^2$-샘플링과 중심점 선택은 마할라노비스 거리 및 $\mu$-유사 Bregman 발산과 같은 다른 거리 척도로 일반화될 수 있는가?
• RQ4 제안된 알고리즘에서 근사 인자 값은 $k$와 $\epsilon$의 매개변수에 따라 어떻게 달라지는가?

주요 결과

• 제안된 알고리즘은 $D^2$-샘플링과 중심점 선택만을 사용하여 $k$-means 목표 함수에 대해 $(1+\epsilon)$-근사해를 달성한다.
• 알고리즘은 $O(nd \cdot 2^{\tilde{O}(k^2/\epsilon)})$ 시간 내에 실행되며, 상수 $k$에 대해 $n$과 $d$에 대해 선형이다.
• 마할라노비스 거리에 대해서는 $O(nd \cdot 2^{\tilde{O}(k^2/\epsilon)})$ 시간 내에 $(1+\epsilon)$-근사해를 제공한다.
• $\mu$-유사 Bregman 발산에 대해서는 $O(nd \cdot 2^{\tilde{O}(k^2/(\mu\epsilon))})$ 시간 내에 $(1+\epsilon)$-근사해를 달성한다.
• 복잡한 코어셋 구축을 피함으로써, 이전의 $k$-means에 대한 PTAS 접근법에 비해 더 단순한 대안을 제공한다.