[論文レビュー] Theoretical Analysis of the $k$-Means Algorithm - A Survey

Johannes Blömer, Christiane Lammersen+2 more|arXiv (Cornell University)|Feb 26, 2016

Advanced Clustering Algorithms Research参考文献 62被引用数 9

ひとこと要約

本調査は、k-meansアルゴリズムの収束特性、近似精度、実行時間について包括的な理論的分析を提供する。Bregman散発度へと分析を拡張し、滑らかさの複雑さの境界を確立するとともに、k-means++のようなシーディング手法をより広範な類似尺度へ一般化する。

ABSTRACT

The $k$-means algorithm is one of the most widely used clustering heuristics. Despite its simplicity, analyzing its running time and quality of approximation is surprisingly difficult and can lead to deep insights that can be used to improve the algorithm. In this paper we survey the recent results in this direction as well as several extension of the basic $k$-means method.

研究の動機と目的

• k-meansアルゴリズムの性能に関する体系的理論的レビューを提供すること、収束速度と解の品質を含む。
• さまざまな入力条件下でのアルゴリズムの実行時間と近似保証を調査すること。
• 二乗ユークリッド距離からの理論的結果を、より広範な類似尺度としてのBregman散発度へと拡張すること。
• 初期化戦略（シーディング手法）が解の品質と収束に与える影響を分析すること。
• さまざまな摂動モデルと散発度タイプ下でのk-means問題の複雑さを探索すること。

提案手法

• 入力点のガウス摂動に対してk-meansの期待実行時間を境界付けるために滑らかさ分析を用いる。
• 一般のBregman散発度のk-means分析に、σをパrameterとする抽象的摂動モデルを適用する。
• Bregman散発度がマハラノビス距離からどれほど逸脱しているかを測るパラメータζとξを導入し、複雑さの境界に影響を与える。
• k-means++シーディングアルゴリズムをμ-類似Bregman散発度へ一般化し、SBE問題に対してO(μ⁻² log k)近似を得る。
• ε-分離可能なインスタンスに対してBregman散発度に適応的サンプリング技術を適用する。
• 混合Bregman散発度（対称化されたバージョン）へのk-means++の拡張を行い、近似因子O(ρψ log k)を達成する。ここでρψは三角不等式の違反を定量化する。

実験結果

リサーチクエスチョン

• RQ1 Bregman散発度に対するk-meansアルゴリズムの滑らかさの複雑さは何か？そして多項式的に境界づけられるか？
• RQ2 k-means++のようなシーディング手法はBregman散発度へどのように一般化され、どのような近似保証を提供するか？
• RQ3 非ユークリッド類似尺度に対するk-meansの収束時間と解の品質に関する理論的限界は何か？
• RQ4 Bregman散発度の特異点と定義域制限は、k-meansの理論的分析にどのように影響するか？
• RQ5 Arthurらが二乗ユークリッド距離に対して得た多項式的滑らかさの複雑さ境界を、一般のマハラノビス散発度へ拡張できるか？

主な発見

• Arthur, Manthey, および Röglin が示すように、二乗ユークリッド距離に対するk-meansアルゴリズムの滑らかさの複雑さは、nおよび1/σに関して多項式的である。
• Bregman散発度に関して、MantheyとRöglinは2つの滑らかさの複雑さ境界を確立した：poly(n^√k, 1/σ)およびk^kd · poly(n, 1/σ)。両者とも二乗ユークリッド距離に対する既知の境界と一致する。
• Bregman散発度の境界は、パラメータξおよび1/ζに関して多項式的依存性を示す。ここでξはマハラノビス距離からの逸脱度を測り、ζは同様に逸脱度を測る。
• k-means++シーディング手法はμ-類似Bregman散発度へ一般化され、SBE問題に対してO(μ⁻² log k)近似が達成された。
• 混合Bregman散発度に関して、Nockらはρψが三角不等式の違反を定量化する場合にO(ρψ log k)近似を達成した。
• 一般のマハラノビス散発度への多項式的滑らかさの複雑さ境界の一般化は、まだ未解決である。ただし、行列Aの最大固有値が|P|に関して多項式的であると仮定すれば可能である。