[論文レビュー] Scalable K-Means++

Bahman Bahmani, Benjamin Moseley+3 more|arXiv (Cornell University)|Mar 29, 2012

Data Management and Algorithms被引用数 15

ひとこと要約

本稿では、k-means++初期化アルゴリズムのスケーラブルで並列処理可能な変種k-means||を提案する。この手法は、データを走査する順序的パスの回数をk回から対数的または定数回に削減する。二乗距離に比例する確率で複数回にわたるサンプリングプロセスを用いることで、最適なk-means解の定数倍近似を達成するとともに、並列処理を効率的に行える。大規模データセットにおいて、k-means++よりも順方向および分散処理の両設定で優れた性能を示す。

ABSTRACT

Over half a century old and showing no signs of aging, k-means remains one of the most popular data processing algorithms. As is well-known, a proper initialization of k-means is crucial for obtaining a good final solution. The recently proposed k-means++ initialization algorithm achieves this, obtaining an initial set of centers that is provably close to the optimum solution. A major downside of the k-means++ is its inherent sequential nature, which limits its applicability to massive data: one must make k passes over the data to find a good initial set of centers. In this work we show how to drastically reduce the number of passes needed to obtain, in parallel, a good initialization. This is unlike prevailing efforts on parallelizing k-means that have mostly focused on the post-initialization phases of k-means. We prove that our proposed initialization algorithm k-means|| obtains a nearly optimal solution after a logarithmic number of passes, and then show that in practice a constant number of passes suffices. Experimental evaluation on real-world large-scale data demonstrates that k-means|| outperforms k-means++ in both sequential and parallel settings.

研究の動機と目的

• k-means++初期化における固有の順序的ボトルネックを解消すること。これは、k回のデータ走査を必要とし、大規模データセットにおけるスケーラビリティを制限する。
• k-means++の強力な理論的保証を維持しつつ、MapReduceのような分散環境でも効率的に実行可能な並列初期化アルゴリズムを設計すること。
• 実際には定数回のパスで十分であることを示すこと。これは、理論的境界が対数的であるにもかかわらず、高品質なクラスタリングを達成できる。
• k-means||が実世界の大規模データセットにおいて、収束速度と解の品質の両面でk-means++を上回ることを実験的に検証すること。

提案手法

• k-means||を提案する。これは、各ラウンドで複数の中心点を、k-meansコストの削減に寄与する度合いに応じて並列に選択する多ラウンドサンプリングアルゴリズムである。
• 既存の中心点からの二乗距離に比例する確率分布を用い、全ラウンドにわたるバランスの取れたサンプリングを保証するためのグローバルスケーリング要因を調整する。
• 各ラウンドの選択確率が、以前のラウンドの累積的効果に依存する再帰的サンプリング戦略を採用し、近似品質の理論的境界を維持する。
• 各最適クラスタAのサンプリング後の期待コストを追跡するためのポテンシャル関数φ′_Aを導入する。線形計画法と双対解析を用いて期待コストを束縛する。
• 非自明な確率的解析を適用し、良い中心点を逃す確率がラウンド数に伴い指数関数的に減少することを示し、定数倍近似に至る。
• p-平均不等式と三角不等式を用いてクラスタの期待コストを束縛し、最終的に最適解に対するO(1)の近似保証を得る。

実験結果

リサーチクエスチョン

• RQ1 k-means++初期化の順序的処理を、理論的近似保証を損なわずに並列化できるか？
• RQ2 並列処理環境下で、最適k-means解の定数倍近似を得るために必要な最小のパス回数は何か？
• RQ3 大規模データ上で、並列中心点選択を伴う多ラウンドサンプリング戦略は、単一パスのk-means++を実際に上回るか？
• RQ4 k-means++の理論的解析を並列フレームワークに拡張でき、O(log k)または定数近似因子を保つことができるか？

主な発見

• k-means||は最適k-means解の定数倍近似を達成し、期待コストが8φ* + (α + (1−α)/2)φで有界である。ここでφ*は最適コストを表す。
• 理論的には、定数近似を得るためにはO(log k)回のパスが必要であるが、実際には定数回のパス（例：5〜15回）で十分であり、高品質な結果が得られる。
• 実世界のデータセットを用いた実験的評価により、k-means||は順方向および並列実行の両方でk-means++を上回り、収束が速く、クラスタリングコストも低いことが示された。
• 初期化でどの点も見逃される確率は、ラウンド数が増えるにつれて指数関数的に減少し、中心点の選択が堅牢になる。
• 解析により、サンプリング後の各クラスタの期待コストが、最適コストの定数倍で有界であることが証明された。これは、データが十分にクラスタリング可能でない場合でも同様に成り立つ。
• k-means||は明らかに並列処理可能であり、MapReduceのような分散フレームワークに簡単に実装可能であるため、大規模データワークロードに適している。