[論文レビュー] Turning Big data into tiny data: Constant-size coresets for k-means, PCA and projective clustering

Dan Feldman, Melanie Schmidt+1 more|arXiv (Cornell University)|Jul 12, 2018

Advanced Clustering Algorithms Research被引用数 6

ひとこと要約

本論文は、k-means、PCA、および射影的クラスタリングのための新しいコアセット構築法を提案する。この手法により、データサイズや次元数に依存しない定数サイズの重み付き集合に、高次元空間内の任意の大規模データセットを低減できる。この方法は、ランダム射影による次元削減の後、重み付きサンプリングを適用し、$(1+\varepsilon)$-近似保証を達成する。コアセットのサイズは$O(k^{\lceil \log_{1+f_1(\varepsilon/2)} \frac{1}{f_3(\varepsilon/2)} \rceil})$であり、その上限は$k$と$\varepsilon$にのみ依存する。コアセットはマージ可能であり、ストリーミング処理や分散処理の効率化を可能にする。

ABSTRACT

We develop and analyze a method to reduce the size of a very large set of data points in a high dimensional Euclidean space R d to a small set of weighted points such that the result of a predetermined data analysis task on the reduced set is approximately the same as that for the original point set. For example, computing the first k principal components of the reduced set will return approximately the first k principal components of the original set or computing the centers of a k-means clustering on the reduced set will return an approximation for the original set. Such a reduced set is also known as a coreset. The main new feature of our construction is that the cardinality of the reduced set is independent of the dimension d of the input space and that the sets are mergable. The latter property means that the union of two reduced sets is a reduced set for the union of the two original sets (this property has recently also been called composability, see Indyk et. al., PODS 2014). It allows us to turn our methods into streaming or distributed algorithms using standard approaches. For problems such as k-means and subspace approximation the coreset sizes are also independent of the number of input points. Our method is based on projecting the points on a low dimensional subspace and reducing the cardinality of the points inside this subspace using known methods. The proposed approach works for a wide range of data analysis techniques including k-means clustering, principal component analysis and subspace clustering. The main conceptual contribution is a new coreset definition that allows to charge costs that appear for every solution to an additive constant.

研究の動機と目的

• 粒子物理学、ゲノム研究、センサーネットワークなどの分野における、巨大で高次元のデータセットの分析におけるスケーラビリティの課題に対処すること。
• k-meansクラスタリングやPCAのような下流の分析タスクの品質を保ちながら、データサイズを低減するコアセット構築法を開発すること。
• 入力点の数$n$とデータ次元$d$の両方に依存しないコアセットサイズを確保することで、Big Dataの効率的処理を可能にすること。
• 離れたデータセットからのコアセットの結合が、結合されたデータセットの有効なコアセットを形成する「マージ可能」なコアセットを設計することにより、分散処理やストリーミング処理を支援すること。
• 近似コストを加法的定数に割り当てることが可能な新しいコアセット定義を提供し、幅広いBregman距離の分析を簡略化すること。

提案手法

• ランダムな次元削減を用いて、高次元の入力点を低次元部分空間に射影し、環境次元を$O(k/\varepsilon^2)$に低減する。
• 低次元部分空間内では、既知のk-meansおよび部分空間近似のコアセット構築手法を適用し、感度スコアに基づく重み付きサンプリングを実行する。
• 主なイノベーションは、Bregman距離の$m$-類似性を用いて近似誤差を制限し、定数サイズのコアセット境界を導出可能にすること。
• コアセット構築はマージ可能である：互いに素なデータセットからのコアセットの和集合は、結合されたデータセットの有効なコアセットを形成する。これにより、分散処理やストリーミング処理が可能になる。
• 理論的分析では、加法的誤差の割り当てを許容する新しいコアセット定義を用い、$(1+\varepsilon)$-近似保証の証明を簡略化する。
• 最終的なコアセットサイズは、$2k^{\lceil \log_{1+f_1(\varepsilon/2)} \frac{1}{f_3(\varepsilon/2)} \rceil}$で上限が与えられ、ここで$f_1(\varepsilon) = (1 + \frac{4}{m\varepsilon})^{-2}$および$f_3(\varepsilon) = (1 + \frac{4}{m\varepsilon})^{-2}$であり、$n$および$d$に依存しない。

実験結果

リサーチクエスチョン

• RQ1 k-meansおよびPCAのためのコアセットを、入力点の数$n$および次元$d$に依存しないサイズで高次元空間に構築することは可能か？
• RQ2 分散処理やストリーミング処理に効率的に対応できる「マージ可能」なコアセット構築法を設計することは可能か？
• RQ3 Bregman距離を活用することで、$(1+\varepsilon)$-近似保証を持つ定数サイズのコアセット境界を導出することは可能か？
• RQ4 提案されたフレームワーク下での射影的クラスタリングおよび部分空間近似におけるコアセットサイズの理論的上限は何か？
• RQ5 このコアセット構築法は、k-meansやPCAを越えて、広範なデータ分析タスクに一般化可能か？

主な発見

• 提案されたコアセット構築法は、k-means、PCA、および射影的クラスタリングにおいて$(1+\varepsilon)$-近似を達成し、コアセットサイズは$k$と$\varepsilon$にのみ依存し、$n$や$d$には依存しない。
• コアセットサイズは$2k^{\lceil \log_{1+f_1(\varepsilon/2)} \frac{1}{f_3(\varepsilon/2)} \rceil}$で上限が与えられ、ここで$f_1(\varepsilon) = (1 + \frac{4}{m\varepsilon})^{-2}$であり、$k$と$\varepsilon$が固定された場合に定数サイズを保証する。
• 異なるデータセットからのコアセットの和集合が、結合されたデータセットの有効なコアセットを形成することを保証しており、分散処理やストリーミング処理の効率化を可能にする。
• 理論的分析では、次元を$O(k/\varepsilon^2)$に次元削減した後、任意の$j$次元部分空間への二乗距離の和が$(1+\varepsilon)$の要因内で近似されることを示している。
• コアセット構築法は、二乗ユークリッド距離を含む幅広いBregman距離に適用可能であり、クラスタリングおよび次元削減タスクの両方をサポートする。
• フレームワークは、加法的定数にコストを割り当てることを許容する新しいコアセット定義を導入し、分析を簡略化し、複雑なデータ分析タスクにおけるタイトな境界の導出を可能にする。