[論文レビュー] k-Means for Streaming and Distributed Big Sparse Data

Artem Barger, Dan Feldman|arXiv (Cornell University)|Nov 29, 2015

Sparse and Compressive Sensing Techniques参考文献 19被引用数 5

ひとこと要約

本稿では、スパースなビッグデータに対して、$\mathbb{R}^d$ における provable $(k,\varepsilon)$-coreset を計算する、最初の決定的ストリーミングおよび分散アルゴリズムを提示する。各ベクトルの非ゼロ要素数が $O(1)$ であり、$d \geq n$ である。コアセットサイズは $n$ や $d$ に依存せず $k^{O(1)}$ であり、対数的メモリおよび通信量で効率的な $k$-means クラスタリングを可能にし、従来の方法が次元削減によってスパarsity を損なうか、$d$ に依存するスケーリングを示すのを凌駕する。

ABSTRACT

We provide the first streaming algorithm for computing a provable approximation to the $k$-means of sparse Big data. Here, sparse Big Data is a set of $n$ vectors in $\mathbb{R}^d$, where each vector has $O(1)$ non-zeroes entries, and $d\geq n$. E.g., adjacency matrix of a graph, web-links, social network, document-terms, or image-features matrices. Our streaming algorithm stores at most $\log n\cdot k^{O(1)}$ input points in memory. If the stream is distributed among $M$ machines, the running time reduces by a factor of $M$, while communicating a total of $M\cdot k^{O(1)}$ (sparse) input points between the machines. % Our main technical result is a deterministic algorithm for computing a sparse $(k,ε)$-coreset, which is a weighted subset of $k^{O(1)}$ input points that approximates the sum of squared distances from the $n$ input points to every $k$ centers, up to $(1\pmε)$ factor, for any given constant $ε>0$. This is the first such coreset of size independent of both $d$ and $n$. Existing algorithms use coresets of size at least polynomial in $d$, or project the input points on a subspace which diminishes their sparsity, thus require memory and communication $Ω(d)=Ω(n)$ even for $k=2$. Experimental results real public datasets shows that our algorithm boost the performance of such given heuristics even in the off-line setting. Open code is provided for reproducibility.

研究の動機と目的

• スパースなビッグデータにおいて $d \geq n$ の条件下で $k$-means クラスタリングを実行する課題に対処すること。この際、従来の次元削減手法はスパarsity を損なう。
• メモリおよび通信量が $d$ や $n$ に依存しない、ストリーミングおよび分散アルゴリズムを設計し、$k$-means の近似品質を維持すること。
• 任意の $k$ 個の中心に対する二乗距離の和を $1\pm\varepsilon$ の要件内で近似する、決定的なスパース $(k,\varepsilon)$-コアセットを構築すること。
• スパarsity や近似保証を損なわず、ストリーミング、分散、GPU 加速環境でも効率的な $k$-means 計算を可能にすること。
• 既存のヒューリスティクス（例：Lloyd のアルゴリズム）の性能が、オフラインおよびストリーミング環境の両方で、コアセット構築によって著しく向上することを実証的に検証すること。

提案手法

• アルゴリズムは、ストリーミングまたは分散データセット上で、決定的かつマージ・リダクションツリーを用いてスパース $(k,\varepsilon)$-コアセットを構築する。この際、$O(\log n \cdot k^{O(1)})$ のメモリを維持する。
• データをチャンク単位で処理し、各マシンまたはストリームセグメントごとに局所コアセットを計算し、二分木構造を用いて再帰的に統合することで、コアセットの保証を維持する。
• 局所分散と候補中心への距離に基づく重み付きサンプリングを用いてコアセットを構築し、すべての可能な $k$-センター構成に対して近似を保証する。
• 入力表現としてスパース形式（例：インデックスと値の行単位ペア）をサポートし、計算全体を通してスパarsity を保持する。
• $M$ 台のマシン間で通信する必要があるのは $M \cdot k^{O(1)}$ 個のスパース点のみであり、これにより実行時間は $M$ 倍に短縮される。
• ベクトルの加算や距離計算といった単純で並列化可能な演算に依存するため、GPU 加速と互換性がある。

実験結果

リサーチクエスチョン

• RQ1 スパースなビッグデータに対して、$d$ や $n$ に依存しないサイズの決定的コアセットを、ストリーミングまたは分散環境で構築可能か？
• RQ2 このようなコアセットは、$d \geq n$ の場合でも、任意の $k$ センタに対して二乗距離の和を $1\pm\varepsilon$ の要件内で保証するか？
• RQ3 このコアセットは、Lloyd のアルゴリズムなどの既存のヒューリスティクスの性能を、オフラインおよびストリーミング両環境で著しく向上させられるか？
• RQ4 分散環境下で、データサイズやマシン数の増加に伴い、メモリおよび通信コストはどのようにスケーリングするか？
• RQ5 異なるデータ分布やスパarsity パatters に対して、コアセット構築は安定的かつ頑健的か？

主な発見

• 提案されたアルゴリズムは、$n$ や $d$ に依存しない $k^{O(1)}$ のサイズを持つスパース $(k,\varepsilon)$-コアセットを構築する。これは、スパースなビッグデータに対して、証明可能保証を備えた最初のコアセットである。
• ストリーミングモードでは $O(\log n \cdot k^{O(1)})$、分散モードでは $O(M \cdot k^{O(1)})$ の通信量を達成し、両者とも $d$ に依存しない。
• 実験結果から、コアセット構築は一様および非一様サンプリングに比べ、誤差の面で著しく優れている。すべてのテストデータセットおよび $k$ 値で、誤差が低く安定している。
• コアセットサイズが小さい段階から非常に低い誤差で開始され、徐々に改善される。一方、ベースライン手法は初期段階で高い誤差を示し、大きなサンプルサイズに達するまで低値に収束しない。
• 実験全体を通して誤差分布は中央値を中心に非常に緊密に集中しており、特にストリーミングモデルにおいて高い安定性と低い分散を示している。
• ストリーミング構築中のメモリ使用量は、ポイント数の対数関数的に増加しており、二分木のマージ・リダクション構造と整合的である。その上昇は木のレベル更新に対応する。