[論文レビュー] k-Means has Polynomial Smoothed Complexity

David Arthur, Bodo Manthey+1 more|ArXiv.org|Apr 7, 2009

Advanced Clustering Algorithms Research参考文献 25被引用数 15

ひとこと要約

この論文は、k-meansアルゴリズムが多項式スムーズ化複雑性を持つことを確立し、データポイント数 $n$ と摂動標準偏差の逆数 $1/\sigma$ の多項式として、その期待反復回数が有界であることを証明した。この結果は、長年の未解決問題を解決し、入力データにランダムな摂動を加えることで、指数的最悪ケース実行時間にもかかわらず、効率的な収束が達成されることを示している。

ABSTRACT

The k-means method is one of the most widely used clustering algorithms, drawing its popularity from its speed in practice. Recently, however, it was shown to have exponential worst-case running time. In order to close the gap between practical performance and theoretical analysis, the k-means method has been studied in the model of smoothed analysis. But even the smoothed analyses so far are unsatisfactory as the bounds are still super-polynomial in the number n of data points. In this paper, we settle the smoothed running time of the k-means method. We show that the smoothed number of iterations is bounded by a polynomial in n and 1/σ, where σis the standard deviation of the Gaussian perturbations. This means that if an arbitrary input data set is randomly perturbed, then the k-means method will run in expected polynomial time on that input set.

研究の動機と目的

• k-meansアルゴリズムの実用的効率性と理論的最悪ケース指数的実行時間の間の矛盾を解消すること。
• スムーズ化解析におけるギャップを埋めるために、期待反復回数に対する多項式上界を証明すること。
• 入力データのランダム摂動が、k-meansにおける多項式時間収束をもたらすことを確立すること。
• 現実世界の応用におけるk-meansの観察された高速な性能の理論的基盤を提供すること。

提案手法

• 入力データが標準偏差 $\sigma$ のガウスノイズでランダムに摂動されるスムーズ化解析モデルにおいてk-meansを分析すること。
• クラスタ構成に関する幾何学的および確率的議論を用いて、反復間でのポテンシャル関数の低下を制限すること。
• クラスタ変化の構造とポテンシャル低下に基づいて反復を6種類に分類すること。
• 集中不等式と体積論的議論を用いて、小さなポテンシャル低下の確率を制限すること。
• 3反復のシーケンスにおけるポテンシャル低下の再帰的解析を適用し、多項式上界を導出すること。
• 個々の反復タイプのバインドを組み合わせることで、全体の期待実行時間を導出すること。

実験結果

リサーチクエスチョン

• RQ1 k-meansアルゴリズムは多項式スムーズ化複雑性を持つのか、すなわちその期待反復回数が $n$ および $1/\sigma$ の多項式であるのか？
• RQ2 実用的観察と一致するように、$k$ や $d$ に依存しないスムーズ化実行時間の上界を示すことができるか？
• RQ3 スムーズ化解析モデルにおける期待反復回数の最もタイトな上界は何か？
• RQ4 この解析を二乗ユークリッド距離を超える一般のブレグマンダイバージェンスへ拡張できるか？

主な発見

• k-meansのスムーズ化反復回数は、$O\left(\frac{n^{34}k^{34}d^{8}\ln^4(n)}{\sigma^6}\right)$ で有界であり、これは $n$ と $1/\sigma$ の多項式である。
• この結果は、ガウス摂動下でk-meansが期待多項式時間で実行されることを示し、未解決問題を解決した。
• 解析により、最悪入力でもランダム摂動が効率的収束をもたらすことが証明された。
• このバインドは $d \geq 2$ に対して成り立ち、$d=1$ の場合はもともと多項式スムーズ化複雑性を有することが知られていた。
• 多項式の指数は大きいが、この結果は高次元におけるk-meansの最初の多項式スムーズ化複雑性を確立した。
• この手法は、1反復あたりの最小ポテンシャル低下を制限し、3ステップのシーケンスを分析することで最終的なバインドを導出する。