[논문 리뷰] Classifying Clustering Schemes

Gunnar Carlsson, Facundo Mémoli|arXiv (Cornell University)|2010. 11. 24.

Topological and Geometric Data Analysis참고 문헌 8인용 수 8

한 줄 요약

이 논문은 유한 거리 공간에서의 군집화 체계를 분류하기 위한 함자적 프레임워크를 제안하며, 클라인버그의 불가능성 결과를 존재 및 유일성 정리로 대체함으로써 사상에 대한 구조적 일致성을 강제한다. 이 프레임워크는 분할성과 같은 조건을 통해 군집화 함자를 분류하고, 영구 호몰로지 개념을 활용하여 밀도 민감도와 노이즈에 대한 강건성을 향상시키는 새로운 방법—예를 들어 m-클러스터 필터링 및 DBSCAN 유사 체계—를 도입한다.

ABSTRACT

Many clustering schemes are defined by optimizing an objective function defined on the partitions of the underlying set of a finite metric space. In this paper, we construct a framework for studying what happens when we instead impose various structural conditions on the clustering schemes, under the general heading of functoriality. Functoriality refers to the idea that one should be able to compare the results of clustering algorithms as one varies the data set, for example by adding points or by applying functions to it. We show that within this framework, one can prove a theorems analogous to one of J. Kleinberg, in which for example one obtains an existence and uniqueness theorem instead of a non-existence result. We obtain a full classification of all clustering schemes satisfying a condition we refer to as excisiveness. The classification can be changed by varying the notion of maps of finite metric spaces. The conditions occur naturally when one considers clustering as the statistical version of the geometric notion of connected components. By varying the degree of functoriality that one requires from the schemes it is possible to construct richer families of clustering schemes that exhibit sensitivity to density.

연구 동기 및 목표

• 군집화 실무와 형식 이론 사이의 이론적 괴리를 해소하기 위해 클라인버그의 불가능성 결과를 대체하는 구축 가능한 함자적 프레임워크를 제안한다.
• 군집화를 거리 공간의 사상에 대해 함자적 성질을 갖는 위상수학적 연결 성분의 통계적 유사체로 형식화한다.
• 분할성과 함자성 같은 구조 조건을 통해 군집화 체계를 분류함으로써, 밀도 민감도를 갖는 더 풍부한 알고리즘 가족을 가능하게 한다.
• 영구 집합 구성 기반으로 새로운 군집화 방법—예를 들어 m-클러스터 필터링 및 DBSCAN 유사 체계—를 개발한다.
• 안정성, 노이즈 필터링, 함자적 다이어그램을 통한 기하학적 해석을 지원하는 군집화의 이론적 기반을 제공한다.

제안 방법

• 유한 거리 공간(단사 사상 포함)의 범주에서 분할의 범주로의 군집화 체계를 함자로 정의함으로써, 데이터 변환 전후의 일致성을 확보한다.
• 크기가 $m$개 이하인 클러스터를 단일 원소로 전환함으로써 클러스터 크기 기반으로 필터링하는 함자 $\mathfrak{H}^m$를 도입한다. 이는 노이즈와 이방성 요소를 제거하는 데 기여한다.
• $\mathfrak{R}^{\Delta_m}$를 임계값 설정 함자 $\mathfrak{T}^m$과 표준 군집화 함자 $\mathfrak{R}$의 복합으로 구성하여, DBSCAN 유사 행동을 모델링한다.
• 영구 집합 이론을 활용하여 표준 $r$-이웃 클러스터를 개선하는 동치 관계 $\sim_r^m$을 정의한다. 이는 작은 성분을 제외함으로써 더 정교한 클러스터링을 가능하게 한다.
• 계층적 군집화에 이 프레임워크를 적용하여, 다양한 척도에서 클러스터 구조를 드러내는 계승도를 생성한다. $m$이 증가할수록 클러스터의 명확성이 향상된다.
• 단사 사상에 대한 함자성은 안정성과 위상적 데이터 분석과의 호환성을 보장하며, 지그재그 다이어그램과 단체 복합체 구축을 가능하게 한다.

실험 결과

연구 질문

• RQ1 함자성 조건을 강제함으로써 클러스터링 체계를 분류할 수 있는가? 이는 클라인버그의 불가능성 결과를 존재 및 유일성 정리로 대체하는가?
• RQ2 분할성과 함자성 같은 구조 조건은 유효한 군집화 체계의 공간을 어떻게 제약하고 풍부하게 하는가?
• RQ3 클러스터 크기 필터링($m$-임계값 설정)은 노이즈에 대한 강건성 향상과 밀도 민감도 향상에 어떤 역할을 하는가?
• RQ4 제안된 함자 $\mathfrak{H}^m$과 $\mathfrak{R}^{\Delta_m}$는 DBSCAN 및 싱글 링크와 같은 기존 방법과 어떻게 관련이 있는가?
• RQ5 함자성은 군집화에서 안정성과 기하학적 해석을 어떻게 지원하는가? 특히 위상적 데이터 분석에서의 응용을 고려할 때 어떻게 작용하는가?

주요 결과

• 함자적 프레임워크 하에서 분할성 군집화 체계의 완전한 분류가 달성되었으며, 이러한 체계가 단사 사상에 대한 행동에 의해 유일하게 결정됨을 보였다.
• $\mathfrak{H}^m$ 함자는 작은 클러스터를 노이즈로 간주하여 제거하는 체계적인 방법을 제공한다. 특히 $\mathfrak{H}^2$는 표준 군집화 함자 $\mathfrak{R}$로 축소된다.
• $\mathfrak{R}^{\Delta_m}$의 구성은 최소 클러스터 크기 $m$을 포함함으로써 DBSCAN을 일반화한다. $\mathfrak{R}^{\Delta_2} = \mathfrak{R}$이며, $m$이 증가할수록 더 명확한 계승도가 생성된다.
• 50개 점으로 구성된 데이터셋에 대해 $m=2,3,4$일 때 $\mathfrak{R}^{\Delta_m}$가 생성한 계승도는 $m$이 높을수록 더 뚜렷한 클러스터 분리 구조를 보이며, 이는 밀도 민감도에 대한 방법의 타당성을 검증한다.
• 함자적 군집화 체계는 지그재그 다이어그램과 단체 복합체와 같은 고급 위상수학적 구성 요소를 지원하여, 다양한 샘플 간의 안정성 분석을 가능하게 한다.
• 이 프레임워크는 함자성이 이론적으로 바람직할 뿐 아니라 실용적으로도 유익함을 입증하였으며, 군집화에 대해 원칙적이고 기하학적으로 정보를 반영한 접근법을 가능하게 한다.