[論文レビュー] A New Index for Clustering Evaluation Based on Density Estimation

Gangli Liu|arXiv (Cornell University)|Jul 4, 2022

Advanced Clustering Algorithms Research被引用数 4

ひとこと要約

本稿では、カーネル密度推定に基づく新しい内部クラスタリング評価指標を提案する。この指標は、曖昧性指標と類似性指標を組み合わせてクラスタの質を評価する。145のデータセットで評価した結果、Calinski-Harabasz、シルエット、Davies-Bouldinを含む6つの既存指標を顕著に上回り、最適クラスタリングを特定する精度が優れていることが示された。

ABSTRACT

A new index for internal evaluation of clustering is introduced. The index is defined as a mixture of two sub-indices. The first sub-index $ I_a $ is called the Ambiguous Index; the second sub-index $ I_s $ is called the Similarity Index. Calculation of the two sub-indices is based on density estimation to each cluster of a partition of the data. An experiment is conducted to test the performance of the new index, and compared with six other internal clustering evaluation indices -- Calinski-Harabasz index, Silhouette coefficient, Davies-Bouldin index, CDbw, DBCV, and VIASCKDE, on a set of 145 datasets. The result shows the new index significantly improves other internal clustering evaluation indices.

研究の動機と目的

• 真のラベルが入手できない内部クラスタリング評価の課題に取り組む。既存の指標は複雑なクラスタ構造を捉えきれないことがしばしばある。
• 密度推定を組み込むことでクラスタの分布と分離度をモデル化し、内部評価の信頼性と正確性を向上させる。
• 密度推定から導出された曖昧性と類似性の指標を組み合わせた、より頑健なクラスタ品質評価のための新しい指標を開発する。
• 多様な実世界および合成データセットにおいて、6つの代表的な内部評価指標と比較して、本指標の実験的妥当性を検証する。
• 指標の変種を検討し、境界検出と密度推定手法の選択が性能に与える影響を評価する。

提案手法

• 提案された指標は、2つのサブ指標の重み付き混合である。曖昧性指標（$I_a$）はクラスタ密度領域の重複度を定量化し、類似性指標（$I_s$）はクラスタ内均質性を測定する。
• 密度推定は各クラスタごとにカーネル密度推定（KDE）を用いて実施され、クラスタ構造と境界検出の確率的モデリングが可能になる。
• 曖昧性指標は、クラスタ間の密度重複をペアワイズに評価することで計算され、正の重複割合または正の重複の平均を用いる変種が存在する。
• 類似性指標は、各クラスタ内データポイントの対数尤度値から導出され、正規化され、クラスタの凝集度を反映するように集約される。
• 境界指標（$I_b$）は、クラスタ固有の標準偏差に基づくしきい値付き密度範囲を用いて、クラスタ端縁付近の点を検出する。
• 最終的な指標は $I_a$ と $I_s$ の組み合わせであり、予備テストでは $I_b$ を含めても性能向上はわずかで、計算複雑度の増加は顕著でない。

実験結果

リサーチクエスチョン

• RQ1 密度ベースの内部評価指標は、Calinski-Harabasz や シルエットといった伝統的指標を上回り、最適クラスタリングを特定できるか？
• RQ2 クラスタ間の重複（曖昧性）とクラスタ内凝集度（類似性）の両方を組み込むことで、クラスタリング評価がどのように向上するか？
• RQ3 曖昧性および類似性サブ指標の異なる変種が、全体の性能に与える影響は何か？
• RQ4 境界検出メカニズムの導入により、指標の弱いクラスタの特定能力が向上するか？
• RQ5 本指標は、クラスタ形状、密度、ノイズレベルが異なる多様なデータセットでどのように性能を発揮するか？

主な発見

• 提案指標は、145のデータセットを含むベンチマークにおいて、Calinski-Harabasz、シルエット、Davies-Bouldin、CDbw、DBCV、VIASCKDEを含む6つの既存内部評価指標を顕著に上回った。
• 特に重複するか、非球形のクラスタを持つケースでは、従来の指標が失敗するが、本指標は最適クラスタリングを識別する能力が顕著に優れている。
• $I_{a\_v1}$、$I_{a\_v2}$、$I_{s\_v1}$ などの曖昧性および類似性指標の変種も、主指標と同等の性能を示し、パラメータ設定に対して頑健であることが示された。
• 境界指標（$I_b$）は、定義が曖昧なクラスタの検出に潜在的な利点を示しているが、全体の性能向上にはわずかにとどまる。
• 各クラスタのKDEフィッティングが必要なため、非密度ベースの指標より計算コストが高くなるが、並列化により性能を向上させられる。
• 予備結果では、本指標は多様なデータ分布で強い性能を維持しているが、高次元空間およびノイズ環境下での挙動についてはさらなる調査が必要である。