[논문 리뷰] Similarity-Driven Cluster Merging Method for Unsupervised Fuzzy Clustering

Xuejian Xiong, K.W. Chan외 1명|arXiv (Cornell University)|2012. 07. 11.

Advanced Clustering Algorithms Research참고 문헌 11인용 수 5

한 줄 요약

이 논문은 초과 지정된 클러스터 수로 시작하여 퍼지 클러스터 유사도 행렬과 적응형 임계값을 사용해 유사한 클러스터를 반복적으로 병합하는 비지도 퍼지 클러스터링을 위한 유사도 기반 클러스터 병합 방법을 제안한다. 이 방법은 p-노름 거리와 자동으로 결정된 주성분을 통합한 수정된 일반화된 목적 함수를 활용하여 클러스터 검증을 향상시키고 사전에 정의된 클러스터 수에 대한 의존도를 줄인다.

ABSTRACT

In this paper, a similarity-driven cluster merging method is proposed for unsuper-vised fuzzy clustering. The cluster merging method is used to resolve the problem of cluster validation. Starting with an overspecified number of clusters in the data, pairs of similar clusters are merged based on the proposed similarity-driven cluster merging criterion. The similarity between clusters is calculated by a fuzzy cluster similarity matrix, while an adaptive threshold is used for merging. In addition, a modified generalized ob- jective function is used for prototype-based fuzzy clustering. The function includes the p-norm distance measure as well as principal components of the clusters. The number of the principal components is determined automatically from the data being clustered. The properties of this unsupervised fuzzy clustering algorithm are illustrated by several experiments.

연구 동기 및 목표

• 진정한 클러스터 수에 대한 사전 지식 없이도 비지도 퍼지 클러스터링에서 클러스터 검증 문제를 해결하기 위해 동적으로 최적의 클러스터 수를 결정하는 것.
• 초과 지정된 클러스터 수로 시작하여 비슷한 클러스터를 병합함으로써 사전에 정의된 클러스터 수에 대한 의존도를 줄이는 것.
• 각 클러스터에 대해 p-노름 거리와 주성분 분석을 목적 함수에 통합하여 클러스터링 정확도를 향상시키는 것.
• 클러스터가 충분히 유사할 경우 병합할 수 있도록 결정하는 적응형 임계값 메커니즘을 개발하는 것.
• 데이터에서 자동으로 각 클러스터당 주성분 수를 결정하여 모델의 적응성 향상시키는 것.

제안 방법

• 방법은 데이터 내에서 초기에 과다 지정된 클러스터 수로 시작한다.
• 클러스터 프로토타입과 데이터 분포를 바탕으로 한 퍼지 클러스터 유사도 행렬을 사용해 클러스터 유사도를 계산한다.
• 유사도 점수에 기반해 병합 결정을 제어하기 위해 적응형 임계값을 동적으로 조정한다.
• 각 클러스터에 대해 p-노름 거리와 주성분 정보를 통합한 수정된 일반화된 목적 함수를 사용한다.
• 차원 분석을 통해 데이터 구조에서 각 클러스터당 주성분 수를 자동으로 결정한다.
• 유사도 점수가 적응형 임계값을 초과하는 바탕으로 반복적으로 클러스터를 병합하며, 더 이상 병합이 불가능할 때까지 진행한다.

실험 결과

연구 질문

• RQ1 진정한 클러스터 수를 사전에 알지 못하는 비지도 퍼지 클러스터링 환경에서 클러스터 검증을 어떻게 향상시킬 수 있는가?
• RQ2 퍼지 클러스터링 프레임워크에서 효과적으로 유사한 클러스터를 식별하고 병합할 수 있는 기준은 무엇인가?
• RQ3 각 클러스터당 주성분 수를 데이터에서 자동으로 어떻게 결정할 수 있는가?
• RQ4 p-노름 거리와 주성분을 통합할 경우 클러스터링 성능에 어떤 영향을 미치는가?
• RQ5 적응형 임계값 메커니즘이 고정 임계값보다 클러스터 병합 결정에서 더 우수한 성능을 내는가?

주요 결과

• 제안된 방법은 유사도 기반 병합을 통해 초과 지정된 초기 클러스터 수를 더 정확한 표현으로 줄이는 데 성공했다.
• 목적 함수에 주성분을 통합함으로써 데이터의 기본 구조를 잘 포착하여 클러스터링 품질을 향상시켰다.
• 적응형 임계값 메커니즘이 병합의 과도함과 클러스터 간 분리도를 효과적으로 균형 잡아 과다 병합을 방지했다.
• 특히 복잡하고 겹치는 구조를 가진 데이터셋에서 기준 방법 대비 더 나은 클러스터 검증 결과를 달성했다.
• 클러스터당 주성분 수를 자동으로 결정함으로써 모델의 강건성 향상과 수동 튜닝 감소를 이뤘다.
• 다양한 벤치마크 데이터셋에서의 실험 결과는 클러스터링 성능 향상이 실제로 입증됨을 보여주었다.