[논문 리뷰] Initialization methods for optimum average silhouette width clustering

Fatima Batool|arXiv (Cornell University)|2019. 10. 18.

Advanced Clustering Algorithms Research참고 문헌 37인용 수 4

한 줄 요약

이 논문은 평균 실루엣 너비(ASW)를 통합 목적 함수로 최적화하여 동시에 최적의 클러스터 수를 추정하고 고품질의 분할을 생성하는 새로운 거리 기반 군집화 알고리즘인 OSil을 제안한다. 기존의 방법과 달리 OSil은 클러스터 수에 대한 사전 지식이 필요 없이 데이터 관측치만으로 작동하며, k-means, 계층적, 밀도 기반, 모델 기반 방법들과 비교해 다양한 데이터 구조에서 뛰어난 군집 품질과 개선된 클러스처 수 추정 성능을 보여준다.

ABSTRACT

A unified clustering approach that can estimate number of clusters and produce clustering against this number simultaneously is proposed. Average silhouette width (ASW) is a widely used standard cluster quality index. A distance based objective function that optimizes ASW for clustering is defined. The proposed algorithm named as OSil, only, needs data observations as an input without any prior knowledge of the number of clusters. This work is about thorough investigation of the proposed methodology, its usefulness and limitations. A vast spectrum of clustering structures were generated, and several well-known clustering methods including partitioning, hierarchical, density based, and spatial methods were consider as the competitor of the proposed methodology. Simulation reveals that OSil algorithm has shown superior performance in terms of clustering quality than all clustering methods included in the study. OSil can find well separated, compact clusters and have shown better performance for the estimation of number of clusters as compared to several methods. Apart from the proposal of the new methodology and it's investigation the paper offers a systematic analysis on the estimation of cluster indices, some of which never appeared together in comparative simulation setup before. The study offers many insightful findings useful for the selection of the clustering methods and indices for clustering quality assessment.

연구 동기 및 목표

• 클러스터 수 추정과 고품질 분할 생성을 동시에 수행하는 통합 군집화 프레임워크를 개발한다.
• 특히 클러스터 수와 같은 최적의 군집 파라미터를 사전 지식 없이 선택하는 문제에 대응한다.
• 다양한 군집화 구조에서 진정한 클러스터 수를 추정하는 데 있어 ASW와 그 최적화된 변형(OASW)의 성능을 평가한다.
• 포괄적인 시뮬레이션 환경에서 내부 검증 지표와 군집화 방법 간의 체계적 비교를 제공한다.
• 다양한 초기화 방법의 행동과 군집 품질 및 클러스터 수 추정에 미치는 영향을 조사한다.

제안 방법

• OSil은 관측치 간의 쌍별 유사도(거리)를 입력으로 사용하는 비중첩, 명확한, 분할 군집화 알고리즘이다.
• 알고리즘은 군집 형성의 지침을 위해 거리 기반 목적 함수로 평균 실루엣 너비(ASW)를 최적화한다.
• 국소 최적값을 피하기 위해 다수의 초기화를 탐색하는 스토케스틱 검색 전략을 사용하여 강건성을 향상시킨다.
• 거리 측정이 가능하다면 연속형, 이진형, 텍스트, 이미지 등 어떤 데이터 유형에도 적용 가능하다.
• OSil은 k-means, 계층적, 스펙트럴, 모델 기반 군집화를 포함한 10개의 기존 군집화 방법과 비교되었으며, 다양한 합성 데이터 생성 과정(DGPs)을 사용했다.
• 성능 평가에는 정확한 클러스터 복원 비율(PPR)을 사용했으며, ASW와 OASW는 검증 지표로 사용되었다.

실험 결과

연구 질문

• RQ1 클러스터 수 추정과 고품질 분할 생성을 동시에 수행하는 군집화 알고리즘이 기존 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 ASW를 목적 함수로 최적화하는 것이 표준 ASW 기반 선택에 비해 군집 품질과 클러스터 수 추정에 어떤 개선을 이끌어내는가?
• RQ3 다양한 군집화 구조에서 OSil에 대해 가장 뛰어난 성능을 보이는 초기화 방법은 무엇인가?
• RQ4 다양한 데이터 조건에서 다양한 내부 검증 지표(예: ASW, BIC, Gap, PS)가 진정한 클러스터 수를 추정하는 데 어떻게 비교되는가?
• RQ5 다양한 군집화 알고리즘 전반에 걸쳐 OASW 접근법이 표준 ASW에 비해 클러스터 수 추정 성능을 유의미하게 향상시키는가?

주요 결과

• OSil은 모든 테스트된 데이터 생성 과정(DGPs)에서 기존의 모든 경쟁 방법보다 뛰어난 군집 정확도와 밀도를 보이며, 뛰어난 군집 품질을 달성했다.
• OASW 접근법은 진정한 클러스터 수를 올바르게 추정한 빈도를 1,000회의 시뮬레이션 중 844회로 높였으며, 표준 ASW의 809회에 비해 통계적으로 유의미한 개선을 보였다.
• 모델 4에서는 OSil이 모델 기반 군집화로 초기화했을 때 PPR이 100%에 도달했고, BIC 기반 모델 선택은 44%에 그쳤다. 이는 복잡한 구조에서 OASW의 우수성을 입증한다.
• 모델 8에서 OSil은 스펙트럴 군집화의 PPR을 28%에서 48%로 향상시켜, 겹치는 클러스터 구성과 같은 도전적인 상황에서도 강건성을 확보했다.
• 점프 방법은 대부분의 DGPs에서 전력 지수 p/3로 설정했을 때 가장 우수한 성능를 보였으며, 이는 이 접근법에 최적의 파rameter 설정임을 시사한다.
• 이 연구는 Gap, PS, BI, CVNN와 같은 지표들이 이전에 함께 체계적으로 비교된 바 없었고, 본 연구에서 통합된 시뮬레이션 프레임워크 내에서 처음으로 평가되었다.