[論文レビュー] Effective Deterministic Initialization for $k$-Means-Like Methods via Local Density Peaks Searching

Fengfu Li, Hong Qiao+1 more|arXiv (Cornell University)|Nov 21, 2016

Statistical Methods and Inference参考文献 28被引用数 4

ひとこと要約

本稿では、$k$-meansに類するクラスタリングのための決定的初期化フレームワーク、Local Density Peaks Searching (LDPS) を提案する。このフレームワークは、クラスタ数 $k$ の自動推定、高品質な初期クラスタ中心の選択、外れ値の検出、非ユークリッド距離のサポートを可能にする。局所的密度と新規の局所的特徴性インデックス (LDI) を活用することで、LDPS-means および LDPS-medoids は、特に $k$ が大きく、非球形のデータに対して優れたクラスタリング性能を発揮し、標準的な $k$-means や $k$-medoids よりもはるかに少ない反復回数で、より高い正確性を達成する。

ABSTRACT

The $k$-means clustering algorithm is popular but has the following main drawbacks: 1) the number of clusters, $k$, needs to be provided by the user in advance, 2) it can easily reach local minima with randomly selected initial centers, 3) it is sensitive to outliers, and 4) it can only deal with well separated hyperspherical clusters. In this paper, we propose a Local Density Peaks Searching (LDPS) initialization framework to address these issues. The LDPS framework includes two basic components: one of them is the local density that characterizes the density distribution of a data set, and the other is the local distinctiveness index (LDI) which we introduce to characterize how distinctive a data point is compared with its neighbors. Based on these two components, we search for the local density peaks which are characterized with high local densities and high LDIs to deal with 1) and 2). Moreover, we detect outliers characterized with low local densities but high LDIs, and exclude them out before clustering begins. Finally, we apply the LDPS initialization framework to $k$-medoids, which is a variant of $k$-means and chooses data samples as centers, with diverse similarity measures other than the Euclidean distance to fix the last drawback of $k$-means. Combining the LDPS initialization framework with $k$-means and $k$-medoids, we obtain two novel clustering methods called LDPS-means and LDPS-medoids, respectively. Experiments on synthetic data sets verify the effectiveness of the proposed methods, especially when the ground truth of the cluster number $k$ is large. Further, experiments on several real world data sets, Handwritten Pendigits, Coil-20, Coil-100 and Olivetti Face Database, illustrate that our methods give a superior performance than the analogous approaches on both estimating $k$ and unsupervised object categorization.

研究の動機と目的

• $k$-means の限界、特に初期シードへの感受性、非球形クラスタでの性能の低さ、事前に $k$ を指定する必要性を解消すること。
• 幾何学的に真のクラスタ中心に近い高品質なクラスタ中心を決定的に選択する初期化手法の開発。
• 局所的密度と新規の局所的特徴性インデックス (LDI) を用いて、事前の知識なしにクラスタ数 $k$ を自動推定すること。
• 外れ値をクラスタリングの前段階で検出し排除することで、ロバストネスを向上させること。
• 多様体に基づく類似度測定を用いた $k$-medoids へのフレームワークの拡張により、複雑なデータ分布における性能向上を図ること。

提案手法

• 本手法は、データポイントの近傍に基づいて、その密度分布を特徴付ける局所的密度測度を導入する。
• 近傍の点と比較してどれほど特徴的であるかを定量化するための局所的特徴性インデックス (LDI) を定義する。このインデックスは、密度が高くかつ孤立している点を優遇する。
• 局所的密度と LDI の両方が高い点、すなわち局所的密度ピークとして特定された点が、初期クラスタ中心として選ばれる。
• 局所的密度は低いが LDI は高い点は外れ値として特定され、クラスタリングの前段階で除外される。
• LDPS フレームワークは $k$-means および $k$-medoids に統合され、それぞれ LDPS-means および LDPS-medoids が得られる。
• 多様体構造を持つデータに対しては、$k$-medoids における類似度測定に、グラフベースの距離と CW-SSIM インデックスを用いる。

実験結果

リサーチクエスチョン

• RQ1 決定的初期化手法が、ランダムな初期シード選択への感受性を低減させることで $k$-means の性能を向上させられるか？
• RQ2 局所的密度と LDI を用いて、事前の知識なしにクラスタ数 $k$ を自動的に推定できるか？
• RQ3 外れ値をクラスタリングの前段階で効果的に検出し排除することで、ロバストネスが向上するか？
• RQ4 LDPS を $k$-medoids および非ユークリッド距離と組み合わせることで、非球形または多様体分布のデータに対する性能が向上するか？
• RQ5 実世界のデータセットにおいて、クラスタ数推定と正確性の観点から、本手法は最先端のクラスタリング手法を上回るか？

主な発見

• LDPS-means および LDPS-medoids は、真のクラスタ数 $k^*$ が大きい場合に、標準的な $k$-means や $k$-medoids よりも優れたクラスタリング性能を発揮する。
• Olivetti Face Database (Oliv.-40) において、LDPS-medoids は誤差率 $r_e$ を前人研究比で 15.9% 減少、誤検出率 $r_f$ を 25% 減少させた。
• LDPS-medoids は Oliv.-40 で $r_t = 74.0\%$ を達成し、ベースライン手法比で 8.8% の向上を達成した。
• Oliv.-10, Oliv.-20, Oliv.-30 において、本手法は $x$-means, $dip$-means, CFSFDP よりも真の値に近い $k$ を一貫して推定した。
• LDPS-medoids は、数千回のランダム再起動を要する $k$-means と比較して、同等またはより良い SSE* を達成するための反復回数を著しく削減した。
• LDPS-medoids における多様体距離（CW-SSIM と $t$-nn 近傍に基づく）の使用は、顔画像のような高次元で非球形のデータにおいて、性能を著しく向上させた。