[論文レビュー] Coresets for Clustering in Euclidean Spaces: Importance Sampling is Nearly Optimal

Lingxiao Huang, Nisheeth K. Vishnoi|arXiv (Cornell University)|Apr 14, 2020

Sparse and Compressive Sensing Techniques参考文献 33被引用数 5

ひとこと要約

本稿では、ユークリッド空間における$(k,z)$-クラスタリングの$\varepsilon$-コアセットを、改善されたコアセットサイズと構築効率で構築する統一的二段階重要度サンプリングフレームワークを提示する。$k$-Medianに対して$\tilde{O}(\varepsilon^{-4}k)$のコアセットサイズを達成し、先行研究に比べ$k$-要因の削減を実現するとともに、$k/\varepsilon$に指数的依存を回避する。また、ほぼ一致する下界$\Omega(k \cdot \min\{2^{z/20}, d\})$を確立する。このフレームワークは、部分空間近似とクラスタリングを結ぶ新規次元削減技術を活用し、一般の$z \geq 1$に対してほぼ最適なコアセット構築を可能にする。主な貢献は、サイズ最適かつ効率的なコアセット構築であり、$k$に線形依存で、$k$-Medianおよび$k$-Meansでは$d$に依存しない。

ABSTRACT

Given a collection of $n$ points in $\mathbb{R}^d$, the goal of the $(k,z)$-clustering problem is to find a subset of $k$ "centers" that minimizes the sum of the $z$-th powers of the Euclidean distance of each point to the closest center. Special cases of the $(k,z)$-clustering problem include the $k$-median and $k$-means problems. Our main result is a unified two-stage importance sampling framework that constructs an $\varepsilon$-coreset for the $(k,z)$-clustering problem. Compared to the results for $(k,z)$-clustering in [Feldman and Langberg, STOC 2011], our framework saves a $\varepsilon^2 d$ factor in the coreset size. Compared to the results for $(k,z)$-clustering in [Sohler and Woodruff, FOCS 2018], our framework saves a $\operatorname{poly}(k)$ factor in the coreset size and avoids the $\exp(k/\varepsilon)$ term in the construction time. Specifically, our coreset for $k$-median ($z=1$) has size $ ilde{O}(\varepsilon^{-4} k)$ which, when compared to the result in [Sohler and Woodruff, STOC 2018], saves a $k$ factor in the coreset size. Our algorithmic results rely on a new dimensionality reduction technique that connects two well-known shape fitting problems: subspace approximation and clustering, and may be of independent interest. We also provide a size lower bound of $Ω\left(k\cdot \min \left\{2^{z/20},d ight\} ight)$ for a $0.01$-coreset for $(k,z)$-clustering, which has a linear dependence of size on $k$ and an exponential dependence on $z$ that matches our algorithmic results.

研究の動機と目的

• ユークリッド空間$\mathbb{R}^d$における$(k,z)$-クラスタリングの$\varepsilon$-コアセットを、$k$に線形依存で$d$に依存しない効率的かつ統一的なフレームワークで構築すること。
• 先行研究を改善し、[18]と比較してコアセットサイズを$\varepsilon^2 d$要因小さくし、[33]と比較して$\operatorname{poly}(k)$要因小さくするが、$\exp(k/\varepsilon)$の構築時間を回避すること。
• コアセットサイズに対してほぼ一致する下界を確立し、$k$および$z$への依存がタイトであることを示すこと。
• 部分空間近似とクラスタリングを結ぶ新規次元削減技術を導入し、独立した関心を引く可能性があること。

提案手法

• 二段階重要度サンプリングフレームワークを提案：まず、クラスタリングコストへの寄与に基づいて点をサンプリングし、次に、任意の$k$-センター集合への距離を保持するためのターミナル埋め込みを用いてサンプルを精緻化する。
• ターミナル埋め込みを介して部分空間近似とクラスタリングを結ぶ新しい幾何的技術を導入し、コアセットの忠実性を損なわずに次元削減を可能にする。
• ジョンソン＝リンデンストラウス型変換を用いて、点を低次元空間に射影し、任意のセンター集合に対して$k$-メディアンコストを$1\pm\varepsilon$の範囲で保持する。
• フェルドマン＝ラングバーグフレームワークを用いて、$k$-Medianのコアセットサイズ$\tilde{O}(\varepsilon^{-4}k)$を構築し、先行研究の$\tilde{O}(\varepsilon^{-4}k^2)$の境界を改善する。
• コアセットサイズがほぼ最適であることを示すために、$0.01$-コアセットに対して$\Omega(k \cdot \min\{2^{z/20}, d\})$の下界を確立する。
• 精密化された三角不等式の議論を用いて、距離の小さな変化がコストの小さな変化を引き起こすことを示し、コアセットの安定性を分析する。

実験結果

リサーチクエスチョン

• RQ1 $(k,z)$-クラスタリングに対して、$k$に線形依存で$d$に依存しない$\varepsilon$-コアセットを構築する統一的フレームワークを設計可能か？
• RQ2 先行研究[18]に見られる$\varepsilon^2 d$要因と、[33]に見られる$\operatorname{poly}(k)$および$\exp(k/\varepsilon)$要因を除去することで、コアセットサイズを改善可能か？
• RQ3 $k$-Medianの$\tilde{O}(\varepsilon^{-4}k)$コアセットサイズは、対数的要因を除いて最適か？
• RQ4 すべての$k$-センター集合のクラスタリングコストを保持しつつ次元を削減できる新しい次元削減技術を開発可能か？
• RQ5 $(k,z)$-クラスタリングの$\varepsilon$-コアセットの理論的下界は何か？ そして、アルゴリズム的構築と一致するか？

主な発見

• 提案された二段階重要度サンプリングフレームワークは、$(k,z)$-クラスタリングに対して$\tilde{O}(\min\{\varepsilon^{-2z-2}k, 2^{2z}\varepsilon^{-4}k^2\})$の$\varepsilon$-コアセットサイズを構築し、先行研究を改善する。
• $k$-Median（$z=1$）ではコアセットサイズが$\tilde{O}(\varepsilon^{-4}k)$となり、[33]の$\tilde{O}(\varepsilon^{-4}k^2)$の境界に比べ$k$-要因の削減を達成する。
• このフレームワークは[33]に見られる$\exp(k/\varepsilon)$の構築時間も回避し、$k$が大きい場合により効率的である。
• 本稿では、$0.01$-コアセットに対して$\Omega(k \cdot \min\{2^{z/20}, d\})$の下界を確立し、$\varepsilon^{-4}$の$\varepsilon$依存と$z$への指数的依存がほぼタイトであることを示す。
• 部分空間近似とクラスタリングを結ぶ新規次元削減技術は、有効であることが示され、他の幾何的問題においても独立した関心を引く可能性がある。
• フレームワークは、ジョンソン＝リンデンストラウス射影のみでは、適切に設計された写像$\phi$がなければコアセット性質を直接保持できないことを示すが、確率的議論により適切な$\phi$が存在することを示す。