[논문 리뷰] Cluster validation by measurement of clustering characteristics relevant to the user

Christian Hennig|arXiv (Cornell University)|2017. 03. 27.

Advanced Clustering Algorithms Research인용 수 6

한 줄 요약

이 논문은 사용자 관련 클러스터링 특성—예를 들어 클러스터 내 동질성, 클러스터 간 분리도, 갭 구조—를 校정된, 정규화된 인덱스를 사용하여 다변량 클러스터 검증 프레임워크를 제안한다. 사용자는 응용 목표에 따라 이러한 지표들을 맞춤형 가중치로 집계할 수 있으며, 인공 및 실제 데이터셋(예: 테트라곤룰라 벌 포함)에 대한 실증 테스트를 통해 기존의 단변량 인덱스보다 외부 기준(예: 종 구분)과 더 잘 일치하는 것으로 입증되었다.

ABSTRACT

There are many cluster analysis methods that can produce quite different clusterings on the same dataset. Cluster validation is about the evaluation of the quality of a clustering; "relative cluster validation" is about using such criteria to compare clusterings. This can be used to select one of a set of clusterings from different methods, or from the same method ran with different parameters such as different numbers of clusters. There are many cluster validation indexes in the literature. Most of them attempt to measure the overall quality of a clustering by a single number, but this can be inappropriate. There are various different characteristics of a clustering that can be relevant in practice, depending on the aim of clustering, such as low within-cluster distances and high between-cluster separation. In this paper, a number of validation criteria will be introduced that refer to different desirable characteristics of a clustering, and that characterise a clustering in a multidimensional way. In specific applications the user may be interested in some of these criteria rather than others. A focus of the paper is on methodology to standardise the different characteristics so that users can aggregate them in a suitable way specifying weights for the various criteria that are relevant in the clustering application at hand.

연구 동기 및 목표

• 단일 최적 클러스터링을 가정하는 단변량 클러스터 검증 인덱스의 한계를 해결하기 위해.
• 사용자 특정 목표(예: 동질성, 분리도, 갭 구조)에 기반한 다차원 클러스터링 품질 평가를 제공하기 위해.
• 다른 방법 또는 파라미터 설정에서 유도된 클러스터링 간 상대적 검증을 가능하게 하여, 검증 기준을 사용자 정의로 집계함으로써.
• 랜덤 클러스터링을 사용한 校정 기반의 스케일링 기법을 개발하여 다양한 검증 인덱스를 정규화하고 의미 있는 비교 및 집계를 가능하게 하기 위해.
• 실제 응용 요구사항과 연결된 검증 지표를 통해 실무적 클러스터링 선택 및 알고리즘 기준 설정을 지원하기 위해.

제안 방법

• 다음 네 가지 별도의 검증 인덱스를 도입한다: 클러스터 내 이질성에 대한 $I^{cK}_{\text{withindis}}$, 10번째 백분위수 기준 분리도에 대한 $I^{cK}_{0.1\text{-sep}}$, 상관기반 동질성에 대한 $I^{cK}_{\text{Pearson}\Gamma}$, 그리고 클러스터 간 최대 갭을 식별하는 데 쓰이는 $I^{cK}_{\text{widestgap}}$.
• 사용자 지정 가중치를 사용하여 정규화된 검증 점수를 조합하는 집계 인덱스 $A({\cal C})$ 를 제안한다. 이는 응용 분야의 우선순위를 반영한다.
• 각 인덱스를 랜덤 클러스터링(예: '바보 같은 K-중심점' 또는 '바보 같은 최근접 이웃 클러스터링')의 분포와 비교하여 정규화함으로써, 다양한 기준 간 비교 가능성을 확보한다.
• 랜덤성 하에서의 기대 변동을 추정하기 위해 재표본 기반 校정 기법을 사용하여, 서로 다른 척도에 있는 인덱스들에 대해 z-점수 유사 표준화를 가능하게 한다.
• 인공 및 실제 데이터셋(예: 테트라곤룰라 벌의 종 구분 연구 포함)에 프레임워크를 적용하여 클러스터링 품질과 방법 성능을 평가한다.
• 실무적 클러스터 분석 워크플로우에서 사용할 수 있도록 R의 'fpc' 패키지에 이 메서드를 구현한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 주어진 데이터셋에 대해 단일 최적 클러스터링을 가정하는 단변량 인덱스의 한계를 넘어서 클러스터 검증을 향상시킬 수 있는가?
• RQ2 데이터 압축과 패턴 인식 등 다양한 클러스터링 목표에 대해 가장 관련성이 높은 클러스터링의 다차원적 특성은 무엇인가?
• RQ3 동질성, 분리도, 갭 구조를 측정하는 다양한 검증 인덱스를 어떻게 정규화하고 의미 있게 집계하여 사용자 중심의 의사결정을 지원할 수 있는가?
• RQ4 제안된 집계 인덱스가 생물학적 데이터에서 알려진 종 그룹화와 같은 외부 기준과 얼마나 잘 일치하는가?
• RQ5 랜덤 클러스터링을 사용한 다양한 校정 방법(예: 동일한 K를 가진 랜덤 클러스터링 대비 모든 랜덤 클러스터링)이 검증 결과의 신뢰성과 안정성에 어떤 영향을 미치는가?

주요 결과

• 테트라곤룰라 벌 데이터셋의 55개 클러스터링에 대해 집계 인덱스 $A({\cal C})$ 는 조정된 Rand 지수(ARI)와 약 0.85의 상관관계를 보였으며, 이는 외부 검증과의 강한 일치를 시사한다.
• K=12인 평균 연결법이 $A({\cal C})$ 값(9.97)에서 가장 높은 점수를 기록했으며, ARI가 가장 높은 것은 아니었음에도 불구하고, 이는 방법이 의미 있는 클러스터 구조를 잘 포착할 수 있음을 보여준다.
• 진짜 종 수가 9인 데도 불구하고, K=10과 K=12일 때 ARI 값이 K=9일 때보다 높게 나타나, 올바른 클러스터 수가 반드시 더 나은 클러스터링 품질을 보장하지는 않음을 시사한다.
• 클러스터 내 갭 기준($I^{cK}_{\text{widestgap}}$)이 랭킹에 결정적인 역할을 하였으며, 이는 평균 연결법이 K ≥ 9일 때 다른 방법들보다 유리함을 나타낸다.
• 동일한 K를 가진 랜덤 클러스터링만 사용한 방법과 모든 랜덤 클러스터링을 사용한 방법이 동일한 랭킹을 도출함으로써, 校정 방법의 강건성을 입증한다.
• PAM 방법은 클러스터 내 동질성에서는 잘 수행되었지만, 분리도와 갭 구조에서 뛰어난 성능을 보인 평균 연결법에 비해 전체적으로 열등했으며, 이는 다차원 평가의 가치를 입증한다.