[論文レビュー] Noisy, Greedy and Not So Greedy k-means++

Anup Bhattacharya, Jan Eube+2 more|arXiv (Cornell University)|Dec 2, 2019

Machine Learning and Algorithms参考文献 21被引用数 5

ひとこと要約

この論文は、k-means++のgreedy版およびノイズあり版を分析し、greedy k-means++が期待値においてΩ(ℓ·log k)の近似比に劣化することを証明している。ここでℓは各反復でサンプリングされる候補の数である。一方、D²サンプリング確率に乗法的要因でノイズが加えられたノイズありk-means++は、期待値においてO(log²k)の近似比を達成し、入力ノイズに対して頑健であることが示された。

ABSTRACT

The k-means++ algorithm due to Arthur and Vassilvitskii has become the most popular seeding method for Lloyd's algorithm. It samples the first center uniformly at random from the data set and the other $k-1$ centers iteratively according to $D^2$-sampling where the probability that a data point becomes the next center is proportional to its squared distance to the closest center chosen so far. k-means++ is known to achieve an approximation factor of $O(\log k)$ in expectation. Already in the original paper on k-means++, Arthur and Vassilvitskii suggested a variation called greedy k-means++ algorithm in which in each iteration multiple possible centers are sampled according to $D^2$-sampling and only the one that decreases the objective the most is chosen as a center for that iteration. It is stated as an open question whether this also leads to an $O(\log k)$-approximation (or even better). We show that this is not the case by presenting a family of instances on which greedy k-means++ yields only an $Ω(\ell\cdot \log k)$-approximation in expectation where $\ell$ is the number of possible centers that are sampled in each iteration. We also study a variation, which we call noisy k-means++ algorithm. In this variation only one center is sampled in every iteration but not exactly by $D^2$-sampling anymore. Instead in each iteration an adversary is allowed to change the probabilities arising from $D^2$-sampling individually for each point by a factor between $1-ε_1$ and $1+ε_2$ for parameters $ε_1 \in [0,1)$ and $ε_2 \ge 0$. We prove that noisy k-means++ compute an $O(\log^2 k)$-approximation in expectation. We also discuss some applications of this result.

研究の動機と目的

• greedy k-means++（各反復で複数の候補をサンプリングし、コストを最小化するものを選択する）の理論的性能を分析すること。
• greedy k-means++が標準k-means++のO(log k)近似保証を維持するかを調査すること。
• D²サンプリング確率に敵対的摂動を加えたノイズありk-means++アルゴリズムを導入し、k-means++のノイズ下での頑健性を研究すること。
• D²サンプリング確率の有界な乗法的摂動下で、ノイズありk-means++の理論的近似境界を確立すること。
• 最悪ケースの例ではgreedy k-means++が性能を発揮しないものの、クラスタビリティ仮定の下で性能向上が可能かどうかを検討すること。

提案手法

• D²サンプリングを用いて各反復でℓ個の候補をサンプリングし、k-meansコストを最も小さくするものを選択するgreedy k-means++の変種を提案する。
• greedy k-means++が期待値でΩ(ℓ·log k)の近似比にしか達成できないことを証明するため、最悪ケースのインスタンス族を構築する。
• 各点のD²サンプリング確率が[1−ε₁, 1+ε₂]の範囲で摂動されるノイズありk-means++を導入し、計算的または実装上のノイズをモデル化する。
• 確率的カップリングの議論を用いて、期待コストを誤差項が有界な既知の確率過程と関連づけ、期待コストの上限を導出する。
• 濃縮結果（補題12）を適用し、ノイズありk-means++の期待コストが最適コストのO(log²k)倍であることを示す。
• 固定確率で標準D²サンプリングとgreedy選択を組み合わせたハイブリッドバージョン、中程度greedyなk-means++を分析し、期待近似比を導出する。

実験結果

リサーチクエスチョン

• RQ1 ℓ個の候補をサンプリングし、最も良いものを選択するgreedy k-means++は、標準k-means++のO(log k)近似保証を維持するか？
• RQ2 D²サンプリング確率が乗法的要因で摂動されるノイズありk-means++は、期待値で多項対数近似を達成できるか？
• RQ3 最悪ケースのインスタンスにおいて、greedy k-means++と標準k-means++の間には理論的性能格差があるか？
• RQ4 ノイズありk-means++の解析を改善し、近似境界に追加のO(log k)要因を排除できるか？
• RQ5 クラスタビリティ仮定の下で、greedy k-means++は最悪ケースの劣化にもかかわらず、標準k-means++を上回る性能を発揮できるか？

主な発見

• greedy k-means++は期待値でΩ(ℓ·log k)の近似比にしか達成できないことが示され、ℓを増やすことで最悪ケース性能が向上しないだけでなく、逆に劣化する可能性があることがわかった。
• 構築された最悪ケースインスタンスは、分離可能性や近似安定性といった一般的なクラスタビリティ仮定を満たしており、データ構造の悪さによる失敗ではないことが示された。
• D²サンプリング確率が[1−ε₁, 1+ε₂]の要因で摂動される場合、ノイズありk-means++は期待値でO(log²k)の近似比を達成し、ノイズに対して頑健であることが示された。
• ノイズありk-means++の近似保証は摂動パrameter ε₁およびε₂に依存し、境界はO((ε₁+ε₂)(1+ε₂)/(1−ε₁)²)倍のlog²kに比例する。
• ハイブリッドバージョンである中程度greedyなk-means++は、選択確率pが定数の場合、期待値でO(ℓ³·log²k)の近似比を達成し、greedinessと頑健性のトレードオフが明らかになった。
• 著者らは、ノイズありk-means++の解析におけるO(log k)要因は不要であり、期待コストはεにのみ依存する定数で抑えられるかもしれないと予想している。