[논문 리뷰] Superclustering by finding statistically significant separable groups of optimal gaussian clusters

O. I. Berngardt|arXiv (Cornell University)|2023. 09. 05.

Information Systems and Technology ApplicationsBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 먼저 베이지안 정보 기준(BIC)을 통해 최적의 가우시안 클러스터 수를 식별한 후, 다이나믹하게 조정된 에프사일론(ε) 파rameter를 가진 DBSCAN과 맨하탄도 기반 접근법을 사용하여 통계적으로 분리 가능한 슈퍼클러스터로 클러스터를 그룹화하는 새로운 슈퍼클러스터링 알고리즘을 제안한다. 이 방법은 통계적으로 유의미한 분리성을 보장하기 위해 행렬 품질 기준을 최대화하며, 시뮬레이션 데이터셋에서 랜드 인덱스 점수(최대 0.999)를 달성한다. 또한 소프트 클러스터링과 새로운 데이터에 대한 추론을 지원한다.

ABSTRACT

The paper presents the algorithm for clustering a dataset by grouping the optimal, from the point of view of the BIC criterion, number of Gaussian clusters into the optimal, from the point of view of their statistical separability, superclusters. The algorithm consists of three stages: representation of the dataset as a mixture of Gaussian distributions - clusters, which number is determined based on the minimum of the BIC criterion; using the Mahalanobis distance, to estimate the distances between the clusters and cluster sizes; combining the resulting clusters into superclusters using the DBSCAN method by finding its hyperparameter (maximum distance) providing maximum value of introduced matrix quality criterion at maximum number of superclusters. The matrix quality criterion corresponds to the proportion of statistically significant separated superclusters among all found superclusters. The algorithm has only one hyperparameter - statistical significance level, and automatically detects optimal number and shape of superclusters based of statistical hypothesis testing approach. The algorithm demonstrates a good results on test datasets in noise and noiseless situations. An essential advantage of the algorithm is its ability to predict correct supercluster for new data based on already trained clusterer and perform soft (fuzzy) clustering. The disadvantages of the algorithm are: its low speed and stochastic nature of the final clustering. It requires a sufficiently large dataset for clustering, which is typical for many statistical methods.

연구 동기 및 목표

• 사용자 지정된 클러스터링 결과를 통계적 유의성 기반으로 근사화함으로써, 지도 학습이 불가능한 환경에서의 비지도 클러스터링 문제를 해결하고자 한다.
• 모델 기반(Gaussian mixture)과 밀도 기반(DBSCAN) 접근법을 융합한 클러스터링 프레임워크를 개발하여 의미 있는 통계적 분리성을 가진 슈퍼클러스터를 탐지하고자 한다.
• 새로운 데이터에 대한 클러스터 멤버십 예측과 소프트(퍼지) 클러스터링을 가능하게 하여 하드 파artitioning을 넘어서 실용적인 활용성을 높이고자 한다.
• 가설 검정을 통해 최적의 슈퍼클러스터 수와 형태를 자동으로 결정하여, 임의의 하이퍼파rameter에 대한 의존도를 줄이고자 한다.

제안 방법

• 알고리즘은 먼저 데이터를 베이지안 정보 기준(BIC)을 최소화하는 방식으로 구성 요소 수가 선택된 가우시안 혼합 모델(GMM)로 모델링한다.
• GMM 구성 요소 간의 맨하탄도를 계산하여 통계적 분리도와 클러스터 크기를 추정하고, 강인한 상호 클러스터 거리 측정을 가능하게 한다.
• 작은 값에서 큰 값으로의 순차적 탐색을 통해 DBSCAN을 GMM 구성 요소에 적용하며, 에프사일론(ε) 하이퍼파rameter를 동적으로 조정한다.
• 새로운 행렬 품질 기준(MC)을 도입하며, 이는 검출된 모든 슈퍼클러스터 중에서 통계적으로 유의미한 슈퍼클러스터의 비율로 정의되며, 최적의 ε를 선택하기 위해 이를 최대화한다.
• 사용자가 정의한 유의수준(α = 0.1)에서 통계적 가설 검정을 수행하여 각 슈퍼클러스터의 분리성을 평가한다.
• 최종 출력은 각각 가우시안 혼합 모델로 표현된 슈퍼클러스터 집합이며, 소프트 클러스터링 확률과 새로운 데이터에 대한 추론 기능을 지원한다.

Figure 1: Clustering points into BIC-optimal mixture of Gaussian distributions. On the left is a separation by the number of clusters $N_{BIC}$ corresponding to the BIC minimum. The background corresponds to decision areas, all points of which the algorithm will refer to given cluster. Colors corres

실험 결과

연구 질문

• RQ1 모델 기반 및 밀도 기반 클러스터링을 통계적 유의성 검정과 융합함으로써, 자동으로 최적의 슈퍼클러스터 수와 형태를 탐지할 수 있는가?
• RQ2 가우시안 혼합 모델링과 통계적 분리성 기반의 슈퍼클러스터링 방법이, 노이즈가 있는지 여부에 관계없이 표준 클러스터링 알고리즘보다 시뮬레이션 데이터셋에서 얼마나 잘 성능을 내는가?
• RQ3 학습된 모델만으로도 소프트 클러스터링과 새로운 데이터로의 일반화를 얼마나 잘 지원할 수 있는가?
• RQ4 의도수준 α의 선택이 결과 슈퍼클러스터링의 안정성과 품질에 어떤 영향을 미치는가?

주요 결과

• 노이즈가 없는 '작은 블롭' 데이터셋에서 알고리즘이 랜드 인덱스(RI) 0.999를 기록하여 전문가 레이블과 거의 완벽한 일치를 보였다.
• 복잡한 비볼록 클러스터 형태를 가진 '3개의 말굽 모양' 데이터셋에서 알고리즘이 RI 0.987을 달성하여 뛰어난 성능을 입증했다.
• 노이즈가 있는 조건, 예를 들어 '2마리 뱀' 데이터셋에서는 알고리즘이 RI 0.72~0.83의 성능을 유지했으며, 동일한 범위에서 앙상블 기반 기준보다 우수한 성능(0.65~0.85)을 보였다.
• 모든 테스트된 노이즈가 없는 케이스에서 행렬 품질 기준(MC)이 최대값 1.0을 기록하여 검출된 모든 슈퍼클러스터가 통계적으로 유의미하다는 것을 보여주었다.
• 알고리즘은 학습된 모델만으로도 소프트 클러스터링을 수행하고 새로운 데이터의 클러스터 멤버십을 예측할 수 있었으며, 이는 많은 비지도 방법에 비해 핵심적인 장점이다.
• 강력한 성능에도 불구하고, 알고리즘은 GMM 피팅 시 EM 초기화의 확률적 특성으로 인해 계산이 느리고 결과의 변동성이 존재하여 동일한 데이터에 대해 여러 실행에서 성능이 다를 수 있다.

Figure 2: A-D) Distributions of points within clusters (different colors correspond to different clusters) and distributions of Mahalanobis distances corresponding to them (orange and green correspond to distributions of intercluster distances $p_{ij},p_{ji}$ , red and blue correspond to cluster siz