[論文レビュー] Provably noise-robust, regularised $k$-means clustering

Shrinu Kushagra, Yaoliang Yu+1 more|arXiv (Cornell University)|Nov 30, 2017

Sparse and Compressive Sensing Techniques参考文献 2被引用数 3

ひとこと要約

本稿では、ノイズ用の専用クラスタを許容することで、高いノイズレベル下でも真のクラスタを回復可能である、正則化された $k$-meansクラスタリングフレームワークを提案する。既存の研究よりもタイトな理論的分離境界（$ \delta > 2 + \epsilon$）を確立し、$k$-means++と比較してMNIST上で優れた性能を示す。

ABSTRACT

We consider the problem of clustering in the presence of noise. That is, when on top of cluster structure, the data also contains a subset of \emph{unstructured} points. Our goal is to detect the clusters despite the presence of many unstructured points. Any algorithm that achieves this goal is noise-robust. We consider a regularisation method which converts any center-based clustering objective into a noise-robust one. We focus on the $k$-means objective and we prove that the regularised version of $k$-means is NP-Hard even for $k=1$. We consider two algorithms based on the convex (sdp and lp) relaxation of the regularised objective and prove robustness guarantees for both. The sdp and lp relaxation of the standard (non-regularised) $k$-means objective has been previously studied by [ABC+15]. Under the stochastic ball model of the data they show that the sdp-based algorithm recovers the underlying structure as long as the balls are separated by $δ> 2\sqrt{2} + ε$. We improve upon this result in two ways. First, we show recovery even for $δ> 2 + ε$. Second, our regularised algorithm recovers the balls even in the presence of noise so long as the number of noisy points is not too large. We complement our theoretical analysis with simulations and analyse the effect of various parameters like regularization constant, noise-level etc. on the performance of our algorithm. In the presence of noise, our algorithm performs better than $k$-means++ on MNIST.

研究の動機と目的

• 構造のないノイズ点が存在する状況におけるクラスタリングの課題に取り組む。
• 中心に基づくクラスタリング目的関数を一般化した正則化フレームワークを開発し、追加の「ノイズ」クラスタを導入することで、ノイズ耐性を向上させる。
• 確率的および分布フリーなモデルの下で、正則化 $k$-means 目的関数のSDPおよびLP緩和に対する理論的耐性保証を証明する。
• 特にノイズ環境下において、先行研究と比較してより優れた分離閾値を達成することを示す。
• MNIST上で実験的にこの手法を検証し、ノイズ下で $k$-means++ よりも優れた性能を示す。

提案手法

• 正則化ペナルティ $\lambda$ を導入し、点が専用のノイズクラスタに割り当てられるのを許容する。これにより、過剰な割り当てを抑える。
• 正則化 $k$-means 目的関数を混合整数計画問題として定式化し、半正定値計画（SDP）および線形計画（LP）緩和を用いる。
• 双対証明技術を用いて、クラスタ分離およびノイズ分布に関する特定の幾何的・確率的仮定の下で正確な回復保証を証明する。
• SDPおよびLP緩和が真のクラスタ構造を回復するための $\delta$、$\nu$、$m$、$\lambda$ に関する条件を確立する。
• ランダム行列理論（例：[Ver10] の定理16）を活用し、データ行列の特異値を評価することで、確率的回復解析を支援する。
• クラスタサイズと分離度に応じた $\lambda$ のパラメータ選択戦略を設計し、双対妥当性条件を満たすようにする。

実験結果

リサーチクエスチョン

• RQ1 正則化された $k$-means 定式化は、理論的保証を維持したまま、証明可能なノイズ耐性を達成できるか？
• RQ2 SDPおよびLP緩和を用いた場合、ノイズが存在する状況で正確な回復を達成するために必要なクラスタ中心間の最小分離 $\delta$ はどの程度か？
• RQ3 ノイズ点の数 $m$ および真のクラスタからの距離 $\nu$ が回復性能に与える影響は何か？
• RQ4 凸緩和を用いて、保証付きで正則化 $k$-means 目的関数を効率的に解けるか？
• RQ5 正則化パラメータ $\lambda$ の選択が、ノイズ拒否とクラスタ回復のトレードオフに与える影響は何か？

主な発見

• 正則化 $k$-means 目的関数は、$k=1$ に対しても最適化がNP困難であることが示され、問題の計算困難性が裏付けられる。
• SDP緩和では、確率的ボールモデル下で $\delta > 2(1 + \sqrt{k/d})$ のとき正確な回復が保証され、先行研究の $\delta > 2\sqrt{2} + \epsilon$ の境界を改善する。
• ノイズ環境下では、SDPベースのアルゴリズムが $\delta > 2(1 + \sqrt{\sigma + k/d})$ のとき真のクラスタを回復する。ここで $\sigma$ はノイズ点数と最小クラスタサイズの比に依存する。
• LP緩和では、$\delta > 4$ かつノイズ点がクラスタから十分に離れている（$\nu > \delta - 2$）場合に回復が保証され、ノイズ点数が $m \leq N(\nu^2/(\delta-2)^2 - 1)$ 以下である。
• 理論的解析により、$\lambda$ がクラスタサイズと分離度に依存する特定の範囲にある場合に、双対証明条件を満たせることを示す。
• MNISTにおける実験結果から、正則化 $k$-means アルゴリズムがノイズ下で $k$-means++ を上回ることを確認し、実用的利点を裏付ける。