[論文レビュー] Quantization/clustering: when and why does k-means work?

Clément Levrard|arXiv (Cornell University)|Jan 11, 2018

Advanced Clustering Algorithms Research参考文献 30被引用数 7

ひとこと要約

本稿は、k-meansクラスタリングと量子化がどのような条件下で整合するかを調査し、マージン条件の下で、経験的リスク最小化とLloydのアルゴリズムが歪みと分類誤差の両面で高速かつ最適な収束速度を達成することを示している。また、データが分離性およびクラスタビリティの仮定を満たす場合、k-meansの出力はほぼ最適なクラスタリングを提供することが確立されている。

ABSTRACT

Though mostly used as a clustering algorithm, k-means are originally designed as a quantization algorithm. Namely, it aims at providing a compression of a probability distribution with k points. Building upon [21, 33], we try to investigate how and when these two approaches are compatible. Namely, we show that provided the sample distribution satisfies a margin like condition (in the sense of [27] for supervised learning), both the associated empirical risk minimizer and the output of Lloyd's algorithm provide almost optimal classification in certain cases (in the sense of [6]). Besides, we also show that they achieved fast and optimal convergence rates in terms of sample size and compression risk.

研究の動機と目的

• k-meansクラスタリングが確率分布の最適量子化と一致する理論的条件を理解すること。
• k-meansをクラスタリングアルゴリズムとしてのものと、元来の量子化手法としての目的との間のギャップを埋めること。
• 経験的リスク最小化とLloydのアルゴリズムの両者について、標本サイズおよび歪みの観点から、高速かつ最適な収束速度を確立すること。
• マージン条件の下で、初期化やデータ分離に対するロバスト性を保証しつつ、k-means出力の分類誤差を分析すること。
• 十分なクラスタ分離がある場合、Lloydのアルゴリズムが高確率でほぼ最適な分類性能を達成することを示すこと。

提案手法

• 監視付き学習にインspiredされたマージン条件（[28]に従う）を用いて、クラスタ中心間の十分な分離を保証する。
• Voronoiセル上の経験的確率と真の確率の乖離を制御するためにHoeffdingの不等式を適用する。
• Voronoiセルの対称差に基づく境界を用いて、経験的誤差と真の誤差の分類誤差を関連付ける。
• 集中不等式を用いて、経験的歪みと真の歪みの乖離を上限付ける。
• 重心条件とVoronoi分割の安定性を活用し、Lloydのアルゴリズム出力と経験的最小化子との距離を制御する。
• [21, 34]の結果を組み合わせることで、良い初期化がクラスタが十分に分離されている場合に低い分類誤差をもたらすことを示す。

実験結果

リサーチクエスチョン

• RQ1 k-meansクラスタリングが歪みと誤分類の観点でほぼ最適な分類を生じる条件は何か？
• RQ2 マージン条件が、標本サイズおよび分類誤差の観点からk-meansの収束速度にどのように影響するか？
• RQ3 クラスタビリティおよび分離性の仮定の下で、Lloydのアルゴリズムが最適な経験的リスク最小化子をどの程度回復できるか？
• RQ4 マージン条件の下で、k-meansの分類誤差が期待値および高確率で有界に保たれるか？
• RQ5 データ分布がマージン条件を満たす場合、量子化性能とk-meansにおけるクラスタリング精度の関係は何か？

主な発見

• マージン条件の下で、Lloydのアルゴリズムの分類誤差は $ O\left(\sqrt{\frac{\log n}{n}}\right) $ のレートで収束し、最適レートと一致する。
• 経験的リスク最小化子とLloydのアルゴリズム出力は、歪みの収束がレート $ O\left(\frac{\sqrt{\log n}}{\sqrt{n}}\right) $ で最適となる。
• クラスタ中心が十分に分離されている場合、Lloydのアルゴリズムによる誤分類点数は高確率で $ \frac{10}{p_{\text{min}}} $ 以下である。
• Lloydの出力と経験的最小化子との距離は $ \frac{60M}{n p_{\text{min}}^2} $ で有界であり、安定性が保証される。
• 高確率で、Lloydの出力の真の最適中心に対する分類誤差は $ C M \sqrt{\frac{1}{n}} \sqrt{\log n} $ で有界である。
• $ k=2 $ の場合、成分が球面的かつ重みが等しいとき、最適な分類は真の平均とは異なっていても、平均に基づく分割と等価である。