[論文レビュー] Fast Noise Removal for $k$-Means Clustering

Sungjin Im, Mahshid Montazer Qaem+3 more|arXiv (Cornell University)|Mar 5, 2020

Anomaly Detection Techniques and Applications参考文献 26被引用数 12

ひとこと要約

本稿では、証明可能保証付きの高速でグリーディな前処理アルゴリズムNK-meansを提案する。$k$-meansクラスタリングにおける外れ値削除に特化しており、$k$-means with outliersを擬似近似保証付き変換により標準$k$-meansに還元することで、任意の$k$-meansアルゴリズムと統合可能となる。これにより、ほぼ線形時間計算量を達成し、実世界のデータセットにおいて高い精度と安定性を示す優れた実験的性能を発揮する。

ABSTRACT

This paper considers $k$-means clustering in the presence of noise. It is known that $k$-means clustering is highly sensitive to noise, and thus noise should be removed to obtain a quality solution. A popular formulation of this problem is called $k$-means clustering with outliers. The goal of $k$-means clustering with outliers is to discard up to a specified number $z$ of points as noise/outliers and then find a $k$-means solution on the remaining data. The problem has received significant attention, yet current algorithms with theoretical guarantees suffer from either high running time or inherent loss in the solution quality. The main contribution of this paper is two-fold. Firstly, we develop a simple greedy algorithm that has provably strong worst case guarantees. The greedy algorithm adds a simple preprocessing step to remove noise, which can be combined with any $k$-means clustering algorithm. This algorithm gives the first pseudo-approximation-preserving reduction from $k$-means with outliers to $k$-means without outliers. Secondly, we show how to construct a coreset of size $O(k \log n)$. When combined with our greedy algorithm, we obtain a scalable, near linear time algorithm. The theoretical contributions are verified experimentally by demonstrating that the algorithm quickly removes noise and obtains a high-quality clustering.

研究の動機と目的

• ノイズの存在下での$k$-meansクラスタリングの課題に取り組む。ノイズは解の品質を著しく低下させる。
• クラスタリング品質を保持しつつ、外れ値を除去するシンプルで効率的な前処理ステップを開発する。
• $k$-means with outliersから標準$k$-meansへの、初めての擬似近似保証付き還元を提供する。
• 理論的保証を備えたスケーラブルなアルゴリズムを設計し、実行時間と解の品質の両面で既存手法を上回る。
• さまざまなノイズレベルとデータスケールを有する実世界のデータセット上で、本手法を実験的に検証する。

提案手法

• NK-meansを導入する。これは、反復的に最も近い中心への二乗距離が最大の点を削除するグリーディなアルゴリズムであり、外れ値を効果的にフィルタリングする。
• 任意の$k$-meansクラスタリングアルゴリズムの前処理として適用することで、$k$-means++などの既存手法との互換性を確保する。
• 近似保証を保持しつつ計算を効率化するため、サイズ$O(k\log n)$のコアセットを構築する。
• グリーディな外れ値除去とコアセット構築を組み合わせ、ほぼ線形時間計算量を達成する。
• 異なるデータセット間での性能比較を公平にするために、正規化された目的関数を用いる。
• 実験ではノイズ注入戦略を採用する：$[-\Delta, \Delta]^d$ に一様にランダムに$1\%$の点を追加して外れ値を模擬する。

実験結果

リサーチクエスチョン

• RQ1 シンプルなグリーディな前処理ステップは、強力な理論的保証を維持しつつ、$k$-meansクラスタリングにおける外れ値を効果的に削除できるか？
• RQ2 $k$-means with outliersを、擬似近似保証付き変換によって標準$k$-meansに還元することは可能か？
• RQ3 コアセットベースのアプローチにより、解の品質を保持しつつ、ほぼ線形時間の$k$-means with outliersを実現できるか？
• RQ4 提案手法NK-meansは、実データセットにおける実行時間、目的関数値、および精度の面で、既存の最先端手法と比較してどのように差をつけるか？
• RQ5 本アルゴリズムは、多様なデータ分布とノイズレベルの下でも、安定性と高い性能を維持するか？

主な発見

• NK-meansは、Skin-5を除くすべての実世界データセットで最良の目的関数値を達成した。Skin-5では最良値から5%以内にとどまった。
• 本手法はすべてのデータセットで精度が0.99以上を維持し、安定性と正確性の両面で他の手法を上回った。
• NK-meansはすべてのデータセットで4時間以内に実行が完了し、理論的保証付きのアルゴリズムの中でも最速の実行時間を記録した。
• KddFullデータセット（480万点）では、人工的なノイズを追加しなくても、他の手法を著しく上回る目的関数値を達成した。
• NK-means前処理を施したコアセットベースの$k$-means++の変種は、競争力のある実行時間と精度を達成し、スケーラビリティを示した。
• 実験により、本研究で検証されたアルゴリズムの中で、NK-meansのみが最悪計算量の理論的保証を備えており、これが一貫した性能発揮の要因であると考えられる。