[논문 리뷰] Consistency constraints for overlapping data clustering

Jared Culbertson, Dan P. Guralnik외 2명|arXiv (Cornell University)|2016. 08. 15.

Topological and Geometric Data Analysis참고 문헌 19인용 수 5

한 줄 요약

이 논문은 메트릭 공간과 비확장 사상(non-expansive maps)을 사용하여 겹치는 데이터 클러스터링을 위한 함자론적 프레임워크를 제안하며, 전통적인 연결 방법에서 발생하는 사슬 현상(chainning issues)을 피한다. 이는 모든 클러스터링 함자(functor)가 싱글링크 클러스터링을 정밀화하고 최대링크 클러스터링 클러스터링을 정밀화해야 한다는 것을 증명함으로써, 함자론적 제약 조건을 통해 자연스러운 겹치는 클러스터링 체계의 계층을 수립한다.

ABSTRACT

We examine overlapping clustering schemes with functorial constraints, in the spirit of Carlsson--Memoli. This avoids issues arising from the chaining required by partition-based methods. Our principal result shows that any clustering functor is naturally constrained to refine single-linkage clusters and be refined by maximal-linkage clusters. We work in the context of metric spaces with non-expansive maps, which is appropriate for modeling data processing which does not increase information content.

연구 동기 및 목표

• 전통적인 분할 기반 클러스터링 방법의 한계, 특히 싱글링크 클러스터링에서 발생하는 사슬 현상(chainning effects)을 해결하기 위해.
• 함자론적 클러스터링 이론을 겹치는 클러스터링으로 확장하여, 더 자연스럽고 일관된 복잡한 데이터의 클러스터링을 가능하게 하기 위해.
• 카테고리 이론을 통해 메트릭 공간에서 커버로의 함자로 겹치는 클러스터링을 형식화하여, 데이터셋 간 일관성을 보장하기 위해.
• 함자론적 제약 조건과 비확장 사상(non-expansive morphisms)에 기반한 겹치는 클러스터링 방법의 계층을 수립하기 위해.

제안 방법

• 정보 내용을 유지하고 변환 간 일관성을 보장하기 위해 데이터를 비확장 사상(non-expansive maps)을 갖는 메트릭 공간으로 모델링한다.
• 클러스터링을 유한 커버의 카테고리에서 메트릭 공간의 카테고리로 가는 함자로 정의함으로써 겹치는 클러스터링을 허용한다.
• 거리 임계값과 연결성 수준을 매개변수로 하는 스크리닝 함자(sieving functors)를 통해 계층적 클러스터링 체계를 정의한다.
• 임계값 그래프에서 $k$-정점 및 $k$-간선 연결 성분을 사용하여 안정적이고 함자론적인 클러스터링 방법인 $\mathbf{VL}^k_\delta$ 및 $\mathbf{EL}^k_\delta$를 정의한다.
• 클러스터링 함자 간 자연스러운 변환(natural transformations)을 수립하여, 높은 연결성 임계값이 낮은 연결성 임계값보다 더 흐린(coarser), 정밀도가 높은 클러스터링을 유도함을 보여준다.
• 선형 시간 내에 이중연결 성분을 계산하고 다항시간 내에 $k$-연결 성분을 나열하는 그래프 이론의 결과를 적용하여 효율적인 계산을 보장한다.

실험 결과

연구 질문

• RQ1 어떻게 변환 간 일관성을 보장하면서 사슬 아티팩트를 피할 수 있는 방식으로 겹치는 클러스터링을 형식화할 수 있는가?
• RQ2 겹치는 클러스터링에서 자연스럽게 발생하는 함자론적 제약 조건은 무엇이며, 이는 고전적 클러스터링 방법과 어떻게 관련이 있는가?
• RQ3 증가하는 임계값 또는 연결성 수준을 사용하여 함자론적으로 계층적 겹치는 클러스터링 체계를 구성할 수 있는가?
• RQ4 제안된 클러스터링 함자들은 정밀화 관점에서 싱글링크 및 최대링크 클러스터링과 어떻게 관련이 있는가?
• RQ5 제안된 겹치는 클러스터링 방법에 대해 어떤 계산 보장(예: 시간 복잡도)을 확보할 수 있는가?

주요 결과

• 비확장 사상이 있는 메트릭 공간 위의 모든 클러스터링 함자(functor)는 싱글링크 클러스터링을 정밀화하고 최대링크 클러스터링을 정밀화해야 하며, 이는 보편적인 계층을 수립한다.
• 함자 $\mathbf{B}_k$, $\mathbf{B}_k^c$, $\mathbf{VL}^k_\delta$, 및 $\mathbf{EL}^k_\delta$ 는 $\mathbf{Met}^{\text{inj}}$ 카테고리에서 함자론적이며, 단사적 비확장 사상에 대해 일관성을 보장한다.
• $\mathbf{ML}_\delta$ 에서 $\mathbf{SL}_\delta$로의 자연스러운 변환이 존재하며, 계층 $\mathbf{ML}_\delta = \mathbf{VL}^\infty_\delta \to \cdots \to \mathbf{VL}^1_\delta = \mathbf{SL}_\delta$ 를 형성하여 연결성 감소에 따라 점점 더 흐릿한 클러스터링이 됨을 보여준다.
• $k$-정점 및 $k$-간선 연결 성분 클러스터링 체계는 고정된 $k$에 대해 다항시간 내에 계산 가능하지만, $\mathbf{ML}_\delta$ 는 최대 클리크 문제로 인해 여전히 NP-난이도이다.
• $\mathbf{EL}_\delta$ 방법은 절단성(excisive)이며 테스트 메트릭 공간을 통해 표현 가능하므로, 최대 $k$-간선 연결 부분그래프를 빠르게 계산하는 알고리즘을 활용해 효율적으로 계산할 수 있다.
• 계층적 클러스터링은 함자 $\mathbf{F}: \mathbf{Met} \to \mathbf{Sieve}$ 로 형식화되며, $\delta \leq \delta'$ 인 $\mathbf{L}^k_\delta$ 와 $\mathbf{L}^k_{\delta'}$ 간 자연스러운 변환을 통해 다양한 척도 간 일관된 정밀화를 보장한다.