[論文レビュー] Fast and Accurate $k$-means++ via Rejection Sampling

Vincent Cohen-Addad, Silvio Lattanzi+3 more|arXiv (Cornell University)|Dec 22, 2020

Data Management and Algorithms被引用数 5

ひとこと要約

この論文は、マルチツリー埋め込みとリジェクションサンプリングを用いて、k-means++と同等の O(log k) 近似保証を達成しながら、実行時間を著しく向上させる近線形時間のアルゴリズムを提案する。距離をツリーで近似し、LSHを用いた近似最近傍推定によるリジェクションサンプリングでサンプリングバイアスを是正することで、アルゴリズムは Õ(nd + (n log Δ)^{1+ε}) 時間で実行され、大規模な k に対して k-means++ や Afkmc2 よりも最大10倍速く、解の品質を維持する。

ABSTRACT

$k$-means++ \cite{arthur2007k} is a widely used clustering algorithm that is easy to implement, has nice theoretical guarantees and strong empirical performance. Despite its wide adoption, $k$-means++ sometimes suffers from being slow on large data-sets so a natural question has been to obtain more efficient algorithms with similar guarantees. In this paper, we present a near linear time algorithm for $k$-means++ seeding. Interestingly our algorithm obtains the same theoretical guarantees as $k$-means++ and significantly improves earlier results on fast $k$-means++ seeding. Moreover, we show empirically that our algorithm is significantly faster than $k$-means++ and obtains solutions of equivalent quality.

研究の動機と目的

• 大規模データセットにスケーリング可能な強力な理論的保証を維持しつつ、より高速な k-means++ セーディングアルゴリズムの開発。
• 特に中〜大規模な k に対して顕著な Ω(k²) の実行時間ボトルネックを克服すること。
• 解の品質を損なわず、近線形時間複雑度 Õ(nd + (n log Δ)^{1+ε}) を達成すること。
• LSHを用いた最近傍推定により、リジェクションサンプリングを用いて出力分布を元の k-means++ の D²-分布と一致させること。
• 実験的に、k-means++ や Afkmc2 よりも著しく高速でありながら、同程度のクラスタリングコストを維持していることを検証すること。

提案手法

• マルチツリー埋め込みを用いて、点間の二乗ユークリッド距離を近似し、ツリー距離に基づく D²-サンプリングを高速化する。
• ツリー近似距離を用いて、Fastk-means++ を導入し、Õ(nd) 時間でセーディングを計算する。
• 近似誤差を是正するためにリジェクションサンプリングを適用：各候補点は、その真の距離が現在のセンター集合に対するツリー推定距離の c 倍以内である場合にのみ受理される。
• 局所性に敏感なハッシュ（LSH）を用いて、元の空間における最近傍を効率的に推定し、リジェクション確率の計算を高速化する。
• 最終的なサンプリング分布が真の D²-分布をよく模倣することを保証することで、k-means++ と同等の O(log k) 近似保証を維持する。
• 同じ近線形時間予算内で、すべての k=1,2,…,n に対して有効な k-means++ セードを出力する。

実験結果

リサーチクエスチョン

• RQ1 O(log k) 近似保証を維持しつつ、近線形時間での k-means++ セーディングを達成できるか？
• RQ2 マルチツリー埋め込みとリジェクションサンプリングを組み合わせることで、分布および品質の面で k-means++ と区別できない解を得られるか？
• RQ3 従来の高速 k-means++ アルゴリズムの Ω(k²) 実行時間の壁を超えて、特に大規模な k に対してもスケーリング可能か？
• RQ4 LSHを用いた最近傍推定は、解の品質を低下させることなく、高速なリジェクションサンプリングを可能にするか？
• RQ5 大規模な k に対して、k-means++ や Afkmc2 と比較して、本手法の実行速度とクラスタリングコストの両面で優れているか？

主な発見

• 提案手法は Õ(nd + (n log Δ)^{1+ε}) 時間で実行され、近線形時間複雑度を達成するとともに、O(log k) 近似保証を維持する。
• k=1000 の場合、Song や KDD-Cup といった実世界のデータセットで、k-means++ や Afkmc2 よりも最大10倍速くなった。
• Song データセットでは、RejectionSampling が k=1000 時にクラスタリングコスト 74,654（10⁵ スケーリング済み）を達成し、k-means++（26,784）と同等で、Afkmc2（82,700）よりも優れていた。
• KDD-Cup データセットでは、複数回の実行において低分散を示し、RejectionSampling が k=1000 時に 799（10² スケーリング済み）を達成し、k-means++（269）に近く、Afkmc2（883）よりも顕著に優れていた。
• リジェクションサンプリングの反復回数の期待値は O(c²d²k) で有界であり、各反復は LSH 操作が支配的であるため、全体としての効率性が保証される。
• 同じ時間予算内で、すべての k=1,2,…,n に対して有効な k-means++ セードを出力でき、複数 k の分析が効率的に行える。