[論文レビュー] Comparison three methods of clustering: k-means, spectral clustering and hierarchical clustering

Kamran Kowsari|arXiv (Cornell University)|Dec 19, 2013

Advanced Clustering Algorithms Research参考文献 7被引用数 4

ひとこと要約

この論文は、k-means、スペクトラルクラスタリング、階層的クラスタリングを、コスト関数と損失関数の分析を通じて比較し、クラスタリングのパフォーランスを評価するための誤差率を計算する手法を提案している。著者が見直しのため論文を撤回したものの、スケーラビリティ、ノイズ処理、パrameter感受性の評価フレームワークを提示している。

ABSTRACT

Comparison of three kind of the clustering and find cost function and loss function and calculate them. Error rate of the clustering methods and how to calculate the error percentage always be one on the important factor for evaluating the clustering methods, so this paper introduce one way to calculate the error rate of clustering methods. Clustering algorithms can be divided into several categories including partitioning clustering algorithms, hierarchical algorithms and density based algorithms. Generally speaking we should compare clustering algorithms by Scalability, Ability to work with different attribute, Clusters formed by conventional, Having minimal knowledge of the computer to recognize the input parameters, Classes for dealing with noise and extra deposition that same error rate for clustering a new data, Thus, there is no effect on the input data, different dimensions of high levels, K-means is one of the simplest approach to clustering that clustering is an unsupervised problem.

研究の動機と目的

• k-means、スペクトラルクラスタリング、階層的クラスタリングのパフォーランスを、一貫した評価基準で評価・比較すること。
• 各クラスタリング手法に特化したコスト関数と損失関数を定義・計算し、定量的比較を可能にすること。
• クラスタリングにおける誤差率を標準化された方法で計算する手法を導入し、客観的なアルゴリズム評価を支援すること。
• 3つのクラスタリング手法におけるスケーラビリティ、ノイズ耐性、パrameter感受性を評価すること。
• データの特性とパフォーランス指標に基づいて最適なクラスタリングアルゴリズムを選択するためのフレームワークを提供すること。

提案手法

• 論文は、k-means、スペクトラルクラスタリング、階層的クラスタリングの3つのクラスタリングアルゴリズムを比較分析する手法を提案している。
• 各アルゴリズムに特化したコスト関数と損失関数を定義し、パフォーランスの定量的評価を可能にしている。
• クラスタリング結果の誤差率を計算する手法が導入され、主に誤分類率に注目している。
• 評価フレームワークは、スケーラビリティ、異なる属性タイプの処理能力、ノイズおよび高次元データに対するロバストネスを考慮している。
• 入力パrameterに関する事前の知識を最小限に抑え、新しいデータインスタンスにおいて一貫したパフォーランスを発揮することに重点が置かれている。
• 各アルゴリズムの強みと弱みを、さまざまな条件下で評価するための構造化された比較マトリクスが使用されている。

実験結果

リサーチクエスチョン

• RQ1 k-means、スペクトラルクラスタリング、階層的クラスタリングは、コスト関数と損失関数の値においてどのように比較できるか？
• RQ2 異なるアルゴリズム間で、クラスタリング結果の誤差率を計算する最も効果的な方法は何か？
• RQ3 3つのクラスタリング手法は、スケーラビリティおよびノイズや高次元データに対するロバストネスにおいて、どのように性能を発揮するか？
• RQ4 入力パrameterに関する事前の知識を最も少なくし、かつ一貫したパフォーランスを維持できるのはどのアルゴリズムか？
• RQ5 新しいまたは未知のデータに適用した際、3つの手法における誤差率はどのように変化するか？

主な発見

• 論文は、アルゴリズムのパフォーランスを客観的に比較できるようにする、クラスタリングにおける誤差率を標準化した計算手法を提案している。
• k-means、スペクトラルクラスタリング、階層的クラスタリングの各手法には、評価に影響を与える特徴的なコスト関数と損失関数が存在する。
• 研究は、3つのアルゴリズム間でのスケーラビリティ、ノイズ処理、パrameter感受性の違いを強調している。
• 論文が撤回されたものの、測定可能なパフォーランス指標を用いたクラスタリング手法の評価のための基盤となるフレームワークを提供している。
• 提案された誤差率計算手法は、入力データの変動に依存せず、高次元データセットに対しても効果的であるように設計されている。
• 分析の結果、どのアルゴリズムも普遍的に優れているとは限らず、データの特性と評価基準に応じて選択すべきであることが示唆されている。