[논문 리뷰] Initialization Free Graph Based Clustering

L. Galluccio, Olivier Michel외 3명|ArXiv.org|2009. 09. 24.

Remote-Sensing Image Classification참고 문헌 47인용 수 3

한 줄 요약

이 논문은 K-means 클러스터링의 초기화가 필요 없는 그래프 기반 클러스터링 방법을 제안한다. 최소 스패닝 트리(MST)를 프림 알고리즘으로 구성하여 클러스터 수와 중심점을 추정한다. 정점 분포를 포아송 과정으로 모델링하고 MST의 간선 길이 궤적을 임계값 처리함으로써 클러스터 모드를 탐지하고, 사전 지식 없이 K-means를 초기화한다. 이로 인해 천체물리학적 및 고분해능 영상 데이터에서 정보 이론적 발산 척도(예: 쿨백-라이블러 발산)를 사용하여 성능이 크게 향상된다.

ABSTRACT

This paper proposes an original approach to cluster multi-component data sets, including an estimation of the number of clusters. From the construction of a minimal spanning tree with Prim's algorithm, and the assumption that the vertices are approximately distributed according to a Poisson distribution, the number of clusters is estimated by thresholding the Prim's trajectory. The corresponding cluster centroids are then computed in order to initialize the generalized Lloyd's algorithm, also known as $K$-means, which allows to circumvent initialization problems. Some results are derived for evaluating the false positive rate of our cluster detection algorithm, with the help of approximations relevant in Euclidean spaces. Metrics used for measuring similarity between multi-dimensional data points are based on symmetrical divergences. The use of these informational divergences together with the proposed method leads to better results, compared to other clustering methods for the problem of astrophysical data processing. Some applications of this method in the multi/hyper-spectral imagery domain to a satellite view of Paris and to an image of the Mars planet are also presented. In order to demonstrate the usefulness of divergences in our problem, the method with informational divergence as similarity measure is compared with the same method using classical metrics. In the astrophysics application, we also compare the method with the spectral clustering algorithms.

연구 동기 및 목표

• 클러스터 수나 위치에 대한 사전 지식 없이 K-means 클러스터링을 초기화하는 데 도전하는 것.
• 최소 스패닝 트리(MST)의 위상적 구조를 이용해 다차원 데이터의 클러스터 수를 추정하는 것.
• 정점 분포의 통계적 모델링에 기반해 프림의 궤적에 대한 임계값 처리 절차를 개발하여 클러스터 모드를 탐지하는 것.
• 정보 이론적 유사도 척도(예: 쿨백-라이블러 발산)가 고분해능 다성분 데이터 클러스터링 성능에 미치는 영향을 평가하는 것.
• 실제 천체물리학적 및 고분해능 영상 데이터 세트에서 제안된 방법의 효과성을 입증하여 스펙트럼 클러스터링 및 기타 기준 방법을 능가하는 것.

제안 방법

• 데이터 세트에 대해 프림 알고리즘을 사용하여 최소 스패닝 트리(MST)를 구성하여 간선 길이의 일차원 궤적을 생성한다.
• 귀무 가설 하에서 MST의 정점 분포를 포아송 과정으로 모델링하여 클러스터 탐지에 대한 분석적 임계값을 유도한다.
• 프림의 궤적에서 깊은 골짜기를 탐지하여 간선 길이의 급격한 증가에 해당하는 클러스터 모드를 식별한다.
• 탐지된 클러스터 모드를 사용하여 클러스터 중심점을 추정하고 K-means 알고리즘을 초기화함으로써 무작위 초기화 오차를 방지한다.
• 특히 쿨백-라이블러 발산을 포함한 대칭적 발산 척도를 특징 공간 내의 유사도 척도로 사용하여 클러스터링 정확도를 향상시킨다.
• 고분해능 영상 및 천체물리학적 데이터에 이 방법을 적용하며, 계산 부담을 줄이기 위해 클러스터 구조를 유지하면서 대용량 영상의 부분 샘플링을 수행한다.

실험 결과

연구 질문

• RQ1 다차원 데이터 세트의 클러스터 수를 최소 스패닝 트리(MST)의 위상적 구조에서 신뢰성 있게 추정할 수 있는가?
• RQ2 MST의 프림 궤적에서 클러스터 경계를 탐지하기 위한 통계적으로 최적의 임계값을 어떻게 도출할 수 있는가?
• RQ3 정보 이론적 발산 척도가 고분해능 및 천체물리학적 데이터에서 전통적 척도와 비교해 클러스터링 성능을 얼마나 향상시키는가?
• RQ4 제안된 방법이 클러스터링 정확도를 유지하거나 향상시키면서 K-means 초기화를 필요로 하지 않도록 할 수 있는가?
• RQ5 실제 다중스펙트럼 및 천체물리학적 데이터 세트에서 이 방법은 스펙트럼 클러스터링 및 기타 최첨단 클러스터링 알고리즘과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 프림 궤적의 골짜기를 탐지함으로써 클러스터 수를 성공적으로 추정하였으며, 귀무 가설 하에서 포아송 모델을 기반으로 한 임계값이 유도되었다.
• 쿨백-라이블러 발산을 유사도 척도로 사용할 경우, 천체물리학적 및 고분해능 영상 응용 분야에서 전통적 척도보다 클러스터링 정확도가 크게 향상되었다.
• 제안된 방법은 웨이브렛 및 베이지안 양성 소스 분리(BPSS)와 같은 전문가 기반 방법과 유사한 성능을 달성하지만, 기준 스펙트럼이나 사전 전문가 레이블링이 필요로 하지 않는다.
• 화성 고분해능 영상에서 이 방법은 H₂O 얼음, CO₂ 얼음, 먼지의 세 가지 주요 성분을 정확히 식별하였으며, 물리적 기대와 일치하는 공간적 패턴(예: CO₂ 얼음의 가장자리에 H₂O 얼음 존재)을 보였다.
• 대규모 영상의 데이터 기반 계층적 분류 및 부분 샘플링을 통해 유사도 행렬 전체를 계산하지 않음으로써 계산 부담을 줄였다.
• 포아송 모델을 사용하여 클러스터 탐지의 가짜 양성 비율을 분석적으로 경계함으로써 클러스터 추정의 이론적 수렴 속도와 통계적 신뢰도를 확보하였다.