[논문 리뷰] Comparison three methods of clustering: k-means, spectral clustering and hierarchical clustering

Kamran Kowsari|arXiv (Cornell University)|2013. 12. 19.

Advanced Clustering Algorithms Research참고 문헌 7인용 수 4

한 줄 요약

이 논문은 비용 함수와 손실 함수를 분석하여 k-means, 스펙트럴 클러스터링, 계층적 클러스터링을 비교하며, 클러스터링 성능 평가를 위한 오차율 계산 방법을 제안한다. 비록 저자가 수정을 위해 논문을 철수시켰지만, 클러스터링 방법 간의 확장성, 노이즈 처리 능력, 파라미터 민감도 평가를 위한 프레임워크를 제시한다.

ABSTRACT

Comparison of three kind of the clustering and find cost function and loss function and calculate them. Error rate of the clustering methods and how to calculate the error percentage always be one on the important factor for evaluating the clustering methods, so this paper introduce one way to calculate the error rate of clustering methods. Clustering algorithms can be divided into several categories including partitioning clustering algorithms, hierarchical algorithms and density based algorithms. Generally speaking we should compare clustering algorithms by Scalability, Ability to work with different attribute, Clusters formed by conventional, Having minimal knowledge of the computer to recognize the input parameters, Classes for dealing with noise and extra deposition that same error rate for clustering a new data, Thus, there is no effect on the input data, different dimensions of high levels, K-means is one of the simplest approach to clustering that clustering is an unsupervised problem.

연구 동기 및 목표

• 일致된 평가 기준을 사용하여 k-means, 스펙트럴 클러스터링, 계층적 클러스터링의 성능을 평가하고 비교하는 것.
• 각 클러스터링 방법에 대해 비용 함수와 손실 함수를 정의하고 계산하여 정량적 비교를 가능하게 하는 것.
• 클러스터링 알고리즘 평가를 지원하기 위한 표준화된 오차율 계산 방법을 도입하는 것.
• 세 가지 클러스터링 접근 방식 간의 확장성, 노이즈에 대한 내성, 파라미터 민감도를 평가하는 것.
• 데이터 특성과 성능 지표에 기반하여 최적의 클러스터링 알고리즘을 선택하기 위한 프레임워크를 제공하는 것.

제안 방법

• 논문은 k-means, 스펙트럴 클러스터링, 계층적 클러스터링의 세 가지 클러스터링 알고리즘을 비교 분석한다.
• 각 알고리즘 전용의 비용 함수와 손실 함수를 정의하여 정량적 성능 평가를 가능하게 한다.
• 클러스터링 결과의 오차율을 계산하는 방법을 제안하며, 주로 오분류 비율에 중점을 둔다.
• 평가 프레임워크는 확장성, 다양한 속성 유형 처리 능력, 노이즈 및 고차원 데이터에 대한 저항성 등을 고려한다.
• 입력 파라미터에 대한 사전 지식을 최소화하고 새로운 데이터 인스턴스 간 일관된 성능을 강조한다.
• 각 알고리즘의 장단점을 다양한 조건에서 평가하기 위해 구조화된 비교 행렬을 사용한다.

실험 결과

연구 질문

• RQ1 k-means, 스펙트럴 클러스터링, 계층적 클러스터링은 비용 함수와 손실 함수 값 측면에서 어떻게 비교될 수 있는가?
• RQ2 다양한 알고리즘 간 클러스터링 결과의 오차율을 계산하는 데 가장 효과적인 방법은 무엇인가?
• RQ3 세 가지 클러스터링 방법은 확장성과 노이즈 및 고차원 데이터에 대한 내성 측면에서 어떻게 성능을 발휘하는가?
• RQ4 입력 파라미터에 대한 사전 지식을 최소화하면서도 일관된 성능을 유지하는 데 가장 적합한 알고리즘은 무엇인가?
• RQ5 새로운 또는 미리 보지 못한 데이터에 적용했을 때, 세 알고리즘 간 오차율은 어떻게 변하는가?

주요 결과

• 논문은 클러스터링 성능을 객관적으로 비교할 수 있도록 표준화된 오차율 계산 방법을 제안한다.
• k-means, 스펙트럴 클러스터링, 계층적 클러스터링 각각은 평가에 영향을 주는 고유한 비용 함수와 손실 함수를 지닌다.
• 연구는 세 알고리즘 간의 확장성, 노이즈 처리 능력, 파라미터 민감도의 차이를 부각시킨다.
• 비록 논문이 철수되었지만, 측정 가능한 성능 지표를 사용한 클러스터링 방법 평가를 위한 기초 프레임워크를 제공한다.
• 제안된 오차율 계산 방법은 입력 데이터 변동에 영향을 받지 않으며 고차원 데이터셋에 효과적이다.
• 분석 결과, 어떤 하나의 알고리즘이 항상 다른 알고리즘을 능가하지는 않으며, 알고리즘 선택은 데이터 특성과 평가 기준에 따라 달라져야 한다.