[論文レビュー] Cluster Evaluation of Density Based Subspace Clustering

Rahmat Widia Sembiring, Jasni Mohamad Zain|arXiv (Cornell University)|Dec 29, 2010

Advanced Clustering Algorithms Research参考文献 21被引用数 8

ひとこと要約

本論文は、IOエントロピー、F1スコア、カバレッジ、正確性、実行時間の各指標を用いて、6×1595次元の合成データセット上で、密度ベースの部分空間クラスタリング手法3つ—SUBCLU、FIRES、INSCY—の性能を評価している。結果から、SUBCLUは最高のカバレッジを達成するが、実行時間が最も長く、INSCYは正確性に優れるが計算時間が長くなる。これは、高次元クラスタリングにおいて、精度と効率の間のトレードオフが顕在していることを示している。

ABSTRACT

Clustering real world data often faced with curse of dimensionality, where real world data often consist of many dimensions. Multidimensional data clustering evaluation can be done through a density-based approach. Density approaches based on the paradigm introduced by DBSCAN clustering. In this approach, density of each object neighbours with MinPoints will be calculated. Cluster change will occur in accordance with changes in density of each object neighbours. The neighbours of each object typically determined using a distance function, for example the Euclidean distance. In this paper SUBCLU, FIRES and INSCY methods will be applied to clustering 6x1595 dimension synthetic datasets. IO Entropy, F1 Measure, coverage, accurate and time consumption used as evaluation performance parameters. Evaluation results showed SUBCLU method requires considerable time to process subspace clustering; however, its value coverage is better. Meanwhile INSCY method is better for accuracy comparing with two other methods, although consequence time calculation was longer.

研究の動機と目的

• 高次元の合成データセットにおける密度ベースの部分空間クラスタリング手法の性能を評価すること。
• 現実世界の多次元データのクラスタリングにおける次元の呪いの課題に対処すること。
• F1スコア、カバレッジ、正確性、IOエントロピー、実行時間といった複数の評価指標を用いて、SUBCLU、FIRES、INSCYを比較すること。
• 部分空間クラスタリングにおけるクラスタリング品質と計算効率の間のトレードオフを特定すること。

提案手法

• 研究では、6×1595次元の合成データセットに対して、SUBCLU、FIRES、INSCYのアルゴリズムを適用した。
• 密度ベースのクラスタリングは、近傍の密度に基づいてコアオブジェクトを特定するためのMinPts閾値を用いて実施された。
• 近傍は、ユークリッド距離などの距離関数を用いて定義され、隣接する点を同定した。
• 性能評価には5つの指標（IOエントロピー、F1スコア、カバレッジ、正確性、実行時間）を用いた。
• 評価フレームワークは、次元とクラスタリング品質の両面でアルゴリズムの挙動を比較した。
• 結果の分析により、各手法の正確性、再現率、スケーラビリティという観点での長所と短所を特定した。

実験結果

リサーチクエスチョン

• RQ1 SUBCLU、FIRES、INSCYは、高次元の合成データにおいて、どの程度のカバレッジを達成するか？
• RQ2 3つの部分空間クラスタリング手法において、正確性と実行時間の間にはどのようなトレードオフがあるか？
• RQ3 IOエントロピーとF1スコアは、各手法の部分空間クラスタリング結果の品質をどの程度反映しているか？
• RQ4 次元数の増加は、密度ベースの部分空間クラスタリングアルゴリズムの性能にどの程度影響を与えるか？
• RQ5 どの手法がクラスタリング品質と計算効率の間で最も良いバランスを達成しているか？

主な発見

• SUBCLUは3つの手法の中で最高のカバレッジを達成しており、関連する部分空間クラスタを同定する能力が優れていることが示された。
• INSCYは、SUBCLUおよびFIRESと比較して優れた正確性を示しており、真のクラスタとより整合性があることを示唆している。
• SUBCLUは最も高い実行時間を要しており、高次元環境下でのスケーラビリティの制限が顕在している。
• FIRESは指標全体にわたり中程度の性能を示したが、正確性ではINSCYに、カバレッジではSUBCLUに劣った。
• 本研究では、正確性と実行時間の間の明確なトレードオフが確認された。INSCYは最も遅いが、最も正確な手法である。
• IOエントロピーとF1スコアは、クラスタリング品質に関する補足的で相補的な洞察を提供しており、F1スコアは正確性と再現率のバランスに特に敏感である。