[논문 리뷰] Incremental Clustering: The Case for Extra Clusters

Margareta Ackerman, Sanjoy Dasgupta|arXiv (Cornell University)|2014. 06. 24.

Advanced Clustering Algorithms Research참고 문헌 18인용 수 17

한 줄 요약

이 논문은 표준 가정 하에 증분 클러스터링 방법이 '좋은' 클러스터링—각 점이 자신이 속한 클러스터의 중심보다 다른 어떤 클러스터의 중심보다 가까운 경우—을 탐지할 수 없음을 보여준다. 그러나 추가 클러스터를 允가함으로써 저자들은 이러한 클러스터링의 개선된 형태를 복원할 수 있는 알고리즘을 설계하였으며, '좋은' $k$-클러스터링을 탐지하기 위해 지수적 증가(최대 $2^{k-1}$)가 필요하고 충분함을 증명하였고, 적대적 순서에서조차도 랜덤 샘플링을 통해 중심을 추가로 유지함으로써 핵심 부분이 상당한 클러스터링을 탐지할 수 있음을 보였다.

ABSTRACT

The explosion in the amount of data available for analysis often necessitates a transition from batch to incremental clustering methods, which process one element at a time and typically store only a small subset of the data. In this paper, we initiate the formal analysis of incremental clustering methods focusing on the types of cluster structure that they are able to detect. We find that the incremental setting is strictly weaker than the batch model, proving that a fundamental class of cluster structures that can readily be detected in the batch setting is impossible to identify using any incremental method. Furthermore, we show how the limitations of incremental clustering can be overcome by allowing additional clusters.

연구 동기 및 목표

• 증분 클러스터링 방법이 특정 클러스터링 구조를 탐지하는 데서 가지는 제약 조건을 공식적으로 분석하는 것.
• 표준 증분 방법이 '좋은' 클러스터링—각 점이 자신이 속한 클러스터보다 다른 클러스터의 중심보다 가까운 경우—을 복원하지 못하는 이유를 규명하는 것.
• 추가 클러스터를 允가함으로써 이러한 제약 조건을 극복하고 의미 있는 클러스터링 구조를 탐지할 수 있는지 조사하는 것.
• 다양한 구조적 가정 하에 목표 클러스터링의 개선된 형태를 탐지하기 위해 추가 클러스터를 사용하는 알고리즘을 개발하고 분석하는 것.
• 증분 탐지에 있어 '좋은' 클러스터링을 탐지하기 위해 필요한 중심 수의 이론적 하한을 설정하는 것.

제안 방법

• 대칭 거리 함수를 사용한 증분 클러스터링의 공식적 프레임워크를 제안하고, 클러스터링, 개선, 클러스터러빌리티 등의 핵심 개념을 정의한다.
• '좋은' 클러스터링의 개념을 도입하여, 모든 점이 자신이 속한 클러스터보다 다른 클러스터의 중심보다 가까운 경우로 정의하고, 어떤 증분 방법도 이러한 클러스터링을 탐지할 수 없음을 증명한다.
• 단일 연결 클러스터링과 하향식 선택을 사용하여 $2^{k-1}$개의 중심을 유지하는 증분 알고리즘을 설계하여, 각 클러스터에 최소한 하나의 대표자가 유지되도록 보장한다.
• 모든 점의 집합을 최대 $2^{k-1}$개의 대표자로 압축하는 '후보자' 서브루틴을 제안하며, 단일 연결 다이그램을 순회하고 루트에서 거리 $<k$ 이내인 점들을 선택한다.
• 랜덤 및 적대적 순서에서의 순차적 $k$-평균 알고리즘을 분석하여, 충분한 중심 수를 사용할 경우 볼록-좋은 클러스터링의 개선된 형태를 높은 확률로 복원할 수 있음을 보였다.
• 랜덤 샘플링 알고리즘을 제안하여 $ackslashell$개의 중심을 유지하고, 적대적 데이터 순서 하에서도 핵심 부분이 $\beta$-분율을 차지하는 클러스터링의 개선된 형태를 탐지할 수 있음을 보였다.

실험 결과

연구 질문

• RQ1 증분 클러스터링 방법은 각 점이 자신이 속한 클러스터보다 다른 클러스터의 중심보다 가까운 '좋은' 클러스터링을 탐지할 수 있는가?
• RQ2 증분 알고리즘이 '좋은' $k$-클러스터링의 개선된 형태를 탐지하기 위해 필요한 최소 중심 수는 얼마인가?
• RQ3 적대적 데이터 순서 하에서도 '핵심 부분이 상당한' 클러스터링(완전한 클러스터가 아니어도 됨)을 증분 방법이 탐지할 수 있는가?
• RQ4 순차적 $k$-평균 알고리즘의 성능은 '좋은' 또는 '볼록-좋은' 클러스터링의 개선된 형태를 탐지할 때 데이터 순서에 따라 어떻게 달라지는가?
• RQ5 추가 클러스터를 允가할 경우, 일반적인 클러스터링 클래스 중에서 증분 방법으로 탐지할 수 있는 것은 무엇인가?

주요 결과

• 모든 증분 클러스터링 방법은 '좋은' $k$-클러스터링을 탐지할 수 없으며, 이는 정리 3.8이 입증한 증분 모델의 근본적 한계이다.
• 증분 알고리즘이 $2^{k-1}$개의 중심을 사용하면 어떤 '좋은' $k$-클러스터링의 개선된 형태도 탐지할 수 있으며, 이는 정리 5.3에서 보여졌고, 이 값은 정리 5.4에 의해 최적임이 입증되었다.
• 순차적 $k$-평균 알고리즘은 완벽한 클러스터링(최소 간클러스터 거리 > 최대 내클러스터 직경)을 탐지하지 못한다. 이는 정리 4.4에서 서술되어 있다.
• 데이터가 랜덤 순서로 주어지면, $ackslashell \geq \Omega((\log k)/\beta)$개의 중심을 사용하는 순차적 $\ell$-평균 알고리즘은 볼록-좋은 클러스터링의 개선된 형태를 확률 $1 - ke^{-\beta\ell}$ 이상으로 탐지할 수 있으며, 이는 정리 5.6에 의해 입증되었다.
• 랜덤 샘플링 알고리즘은 적대적 순서 하에서도 핵심 부분이 $\beta$-분율을 차지하는 클러스터링의 개선된 형태를 확률 $1 - ke^{-\beta\ell}$ 이상으로 탐지할 수 있으며, 이는 정리 5.10에서 보여졌다.
• '좋은' 클러스터링을 탐지하기 위해 필요한 중심 수에 대한 지수적 의존성($2^{k-1}$)은 피할 수 없으며, 이는 정리 5.4에서 증명되었다.