[論文レビュー] Improved Guarantees for k-means++ and k-means++ Parallel

Konstantin Makarychev, A. Rama Mohan Reddy+1 more|arXiv (Cornell University)|Oct 27, 2020

Advanced Clustering Algorithms Research参考文献 24被引用数 8

ひとこと要約

この論文は、k-means++ および k-means++ Parallel の理論的保証を改善し、k-means++ に対してよりタイトな O(ln k) 近似係数 5(ln k + 2) を提供するとともに、同一の保証を持つ新しい並列バージョンである Exponential Race k-means++ を導入した。この手法はポアソン過程と指数分布確率変数を用いて並列で D² サンプリングをシミュレートし、強力な理論的性能を実現する効率的でスケーラブルなクラスタリングを達成する。

ABSTRACT

In this paper, we study k-means++ and k-means++ parallel, the two most popular algorithms for the classic k-means clustering problem. We provide novel analyses and show improved approximation and bi-criteria approximation guarantees for k-means++ and k-means++ parallel. Our results give a better theoretical justification for why these algorithms perform extremely well in practice. We also propose a new variant of k-means++ parallel algorithm (Exponential Race k-means++) that has the same approximation guarantees as k-means++.

研究の動機と目的

• k-means++ および k-means++ Parallel の理論的近似保証をよりタイトにすること。これは、優れた実験的性能と弱い理論的境界とのギャップを埋めるものである。
• k-means++ Parallel が実際には k-means++ を上回る性能を示す理由が、理論的境界が弱いにもかかわらず、なぜかという未解決の問いを解消すること。
• k-means++ の理論的性能を保ちつつ、効率的でスケーラブルな実行を可能にする新しい並列アルゴリズム、Exponential Race k-means++ を設計すること。
• k-means++ Parallel の性能向上が、反復的な距離再計算によるものではなく、2段階のサンプリングとプルーニングプロセスによるものであることを実験的に示すこと。

提案手法

• 各点 x が現在のコストに比例するレートを持つ指数分布の時計を割り当てることで、D² サンプリングを並列でシミュレートするため、指数分布の到着間隔を有するポアソン過程を用いる。
• 各ラウンドで、まだ時計が切れていない候補点の集合 Z を動的かつ維持し、新たなセンター選択に応じてコストとレートを更新する。
• 各ラウンドで、次の「ジャンプ」までの残り時間が最小（つまり指数分布時計が最も早く到着する）点を選出し、センター集合に追加し、残りのすべての時計と到着レートを更新する。
• 現在のラウンドの終了時刻を上回る次のジャンプ時刻を持つ点を Z からプルーニングし、処理対象となるのは常に有効な候補のみを保証する。
• k-means++ Parallel の利点が、反復的 D² 更新によるものではなく、2段階のサンプリングとプルーニング機構によるものであることを実験的に検証する。
• 次元を O(log k) に低減するために Johnson–Lindenstrauss 変換を適用し、近似誤差 (1+ε) 要因を保ちつつ実行時間を改善する。

実験結果

リサーチクエスチョン

• RQ1 既知の 8(ln k + 2) の境界を超えて、k-means++ の理論的近似保証を改善できるか？
• RQ2 k-means++ Parallel が理論的境界が弱いにもかかわらず実験的に k-means++ を上回る性能を示す理由は何か？
• RQ3 k-means++ の強い理論的保証を維持しつつ、効率的でスケーラブルな実行を可能にする新しい並列 k-means++ バージョンを設計できるか？
• RQ4 k-means++ Parallel の性能向上は、複数回の D² サンプリングとプルーニングによるものか、それとも頻繁な D² 再計算によるものか？
• RQ5 まず k 個より多くのセンターを最初に選択し、その後 k 個にプルーニングする2段階のサンプリングアプローチは、k-means++ Parallel と同等の性能を示せるか？

主な発見

• k-means++ の期待コストは、最適コストの 5(ln k + 2) 倍以下であることが保証され、従来の 8(ln k + 2) の境界を改善した。
• カバーされたクラスタの期待コストに対する新しい境界は、一致する下界構成によってタイトであることが示された。
• k-means++ Parallel が k-means++ を実験的に上回る主な要因は、2段階のサンプリングとプルーニング機構であり、反復的 D² 更新によるものではない。
• 提案された Exponential Race k-means++ アルゴリズムは、k-means++ と同等の理論的近似保証を達成するとともに、並列実行に非常に適している。
• BioTest および COVTYPE データセットにおける実験的評価では、k-means++ Parallel と Pruning を施した Bi-Criteria k-means++ はほぼ同一の性能を示し、2段階のメカニズムが主因であることを確認した。
• 各ラウンドにおける有効な候補集合 Z の期待サイズは ℓ 未満であることが保証され、R ラウンドで総実行時間が O(Rnℓd) に抑えられ、並列処理が効率的であることが保証された。