[論文レビュー] A simple D^2-sampling based PTAS for k-means and other Clustering Problems

Ragesh Jaiswal, Amit Kumar+1 more|arXiv (Cornell University)|Jan 20, 2012

Sparse and Compressive Sensing Techniques参考文献 19被引用数 4

ひとこと要約

この論文は、$D^2$-サンプリングをコアメカニズムとして用いる、$k$-means問題の単純な確率的$(1+\epsilon)$-近似アルゴリズムを提示する。反復的に$D^2$-サンプリングにより点を抽出し、それらのサンプルから重心を選択することで、$O(nd \cdot 2^{\tilde{O}(k^2/\epsilon)})$時間で$(1+\epsilon)$-近似解が得られる。これは、複雑なコresetに基づくPTAS手法とは対照的に洗練された代替手法を提供する。

ABSTRACT

Given a set of points $P \subset \mathbb{R}^d$, the $k$-means clustering problem is to find a set of $k$ {\em centers} $C = \{c_1,...,c_k\}, c_i \in \mathbb{R}^d,$ such that the objective function $\sum_{x \in P} d(x,C)^2$, where $d(x,C)$ denotes the distance between $x$ and the closest center in $C$, is minimized. This is one of the most prominent objective functions that have been studied with respect to clustering. $D^2$-sampling \cite{ArthurV07} is a simple non-uniform sampling technique for choosing points from a set of points. It works as follows: given a set of points $P \subseteq \mathbb{R}^d$, the first point is chosen uniformly at random from $P$. Subsequently, a point from $P$ is chosen as the next sample with probability proportional to the square of the distance of this point to the nearest previously sampled points. $D^2$-sampling has been shown to have nice properties with respect to the $k$-means clustering problem. Arthur and Vassilvitskii \cite{ArthurV07} show that $k$ points chosen as centers from $P$ using $D^2$-sampling gives an $O(\log{k})$ approximation in expectation. Ailon et. al. \cite{AJMonteleoni09} and Aggarwal et. al. \cite{AggarwalDK09} extended results of \cite{ArthurV07} to show that $O(k)$ points chosen as centers using $D^2$-sampling give $O(1)$ approximation to the $k$-means objective function with high probability. In this paper, we further demonstrate the power of $D^2$-sampling by giving a simple randomized $(1 + ε)$-approximation algorithm that uses the $D^2$-sampling in its core.

研究の動機と目的

• $k$-meansクラスタリング問題の単純で効率的な$(1+\epsilon)$-近似アルゴリズムの開発。
• $D^2$-サンプリングのみを用い、複雑なコreset構築を一切使わずに、$k$-meansおよび関連クラスタリング目的関数のためのPTASを構築できることの実証。
• $D^2$-サンプリングの適用範囲を、マハラノビス距離や$\mu$-類似Bregman発散などの他の距離測度へ拡張すること。
• 定数$k$に対して、$O(nd \cdot 2^{\tilde{O}(k^2/\epsilon)})$の時間計算量を持つ、実行時間に優れたアルゴリズムの提供。これは、従来の手法を単純化する。

提案手法

• アルゴリズムは、すでに選ばれた中心からの距離に基づいて、$D^2$-サンプリングを用いて候補点の小さな集合を反復的に選択する。
• 各サンプル集合から、部分集合の重心を次の中心として選択することで、多様性と代表性を保証する。
• このプロセスを$k$個の中心が選ばれるまで繰り返し、高い確率で$(1+\epsilon)$-近似解が得られる。
• この手法は、$(f,\gamma,\delta)$-サンプリング性質と$D^2$-サンプリング下での重心の安定性に依存し、近似保証を実現する。
• 理論的解析では、対称性、三角不等式、および距離関数の重心の性質を用いて近似誤差を上限付ける。
• マハラノビス距離および$\mu$-類似Bregman発散に対しては、これらの距離測度が必要な性質を満たすことを確認することで、アルゴリズムを拡張する。

実験結果

リサーチクエスチョン

• RQ1 $D^2$-サンプリングのみを用いて、コreset構築に依存せずに、$k$-means問題の単純なPTASを設計できるか？
• RQ2 $(1+\epsilon)$-近似を達成する$D^2$-サンプリングベースのアルゴリズムの実行時間計算量はどの程度か？
• RQ3 $D^2$-サンプリングと重心選択は、マハラノビス距離や$\mu$-類似Bregman発散などの他の距離測度へ一般化可能か？
• RQ4 提案されたアルゴリズムにおいて、近似因子はパrameter $k$ と $\epsilon$ にどのように依存するか？

主な発見

• 提案されたアルゴリズムは、$D^2$-サンプリングと重心選択のみを用いて、$k$-means目的関数に対して$(1+\epsilon)$-近似を達成する。
• アルゴリズムの実行時間は$O(nd \cdot 2^{\tilde{O}(k^2/\epsilon)})$であり、定数$k$に対して$n$および$d$に関して線形時間である。
• マハラノビス距離に対しては、$O(nd \cdot 2^{\tilde{O}(k^2/\epsilon)})$時間で$(1+\epsilon)$-近似が得られる。
• $\mu$-類似Bregman発散に対しては、$O(nd \cdot 2^{\tilde{O}(k^2/(\mu\epsilon))})$時間で$(1+\epsilon)$-近似が達成される。
• 複雑なコreset構築を回避しており、従来の$k$-meansのPTAS手法とは対照的に、より単純な代替手法を提供する。