[논문 리뷰] DBSCAN: Optimal Rates For Density Based Clustering

Daren Wang, Xinyang Lu외 1명|arXiv (Cornell University)|2017. 06. 09.

Advanced Clustering Algorithms Research참고 문헌 39인용 수 5

한 줄 요약

이 논문은 DBSCAN에서 유도된 비율 최적의, 계산적으로 효율적인 밀도 기반 군집화 방법을 제안한다. 커널 밀도 추정과 중첩된 무작위 기하 그래프를 사용하여 군집 트리 추정을 수행한다. 허더-스무쓰한 밀도 하에서 군집 트리 추정에 대해 최소 최대 최적 속도를 확립하며, 이는 초등급 노름 밀도 추정의 최소 최대 속도와 일치한다. 또한 이 결과를 점프 불연속성이 있는 밀도로 확장한다.

ABSTRACT

We study the problem of optimal estimation of the density cluster tree under various assumptions on the underlying density. Building up from the seminal work of Chaudhuri et al. [2014], we formulate a new notion of clustering consistency which is better suited to smooth densities, and derive minimax rates of consistency for cluster tree estimation for Holder smooth densities of arbitrary degree α. We present a computationally efficient, rate optimal cluster tree estimator based on a straightforward extension of the popular density-based clustering algorithm DBSCAN by Ester et al. [1996]. The procedure relies on a kernel density estimator with an appropriate choice of the kernel and bandwidth to produce a sequence of nested random geometric graphs whose connected components form a hierarchy of clusters. The resulting optimal rates for cluster tree estimation depend on the degree of smoothness of the underlying density and, interestingly, match minimax rates for density estimation under the supremum norm. Our results complement and extend the analysis of the DBSCAN algorithm in Sriperumbudur and Steinwart [2012]. Finally, we consider level set estimation and cluster consistency for densities with jump discontinuities, where the sizes of the jumps and the distance among clusters are allowed to vanish as the sample size increases. We demonstrate that our DBSCAN-based algorithm remains minimax rate optimal in this setting as well.

연구 동기 및 목표

• 기본 밀도의 스무쓰함 가정 하에 통계적으로 최적의 군집 트리 추정기를 개발하기 위해.
• 밀도의 허더 스무쓰함에 명시적으로 의존하는 군집 트리 추정의 최소 최대 최적 속도를 확립하기 위해.
• 점프 불연속성이 있는 밀도로 이론적 보장을 확장하여, 불연속성 크기와 표본 크기에 따라 DBSCAN이 최소 최대 속도를 달성함을 보여주기 위해.
• DBSCAN의 성능이 초등급 노름 밀도 추정 속도와 연결됨을 통해 DBSCAN에 엄밀한 통계적 기반을 제공하기 위해.
• 새로운 $\delta$-분리 기준을 도입하여 스무쓰한 밀도에 더 적합한 군집 일致성 분석을 향상시키기 위해.

제안 방법

• 독립 동일분포 표본에서 커널 밀도 추정기를 사용하여 수정된 DBSCAN 절차를 제안하고, 중첩된 무작위 기하 그래프의 시퀀스를 구성한다.
• 이 그래프의 연결된 성분을 통해 군집 트리 추정을 정의하며, 밀도 수준 집합에 기반한 군집의 계층적 구조를 형성한다.
• 스무쓰함을 반영하고 더 엄밀한 일관성 분석을 가능하게 하는 새로운 $\delta$-분리 기준을 도입한다.
• 임의의 차수 $\alpha$에 대해 허더 스무쓰함 가정 하에서 군집 트리 추정의 최소 최대 속도를 유도한다.
• 군집 트리 일관성과 초등급 노름($L_{\infty}$)에서의 밀도 추정 일관성 간의 등가성을 확립한다.
• 제안된 추정기가 초등급 노름 추정의 최소 최대 속도와 일치하는 최소 최대 최적 속도를 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 부드러운 밀도 하에서 DBSCAN이 군집 트리 추정에 대해 비율 최적 추정기로 이론적으로 정당화될 수 있는가?
• RQ2 군집 트리 추정의 최소 최대 속도가 기저 밀도의 스무쓰함(허더 매개수 $\alpha$)에 따라 어떻게 달라지는가?
• RQ3 제안된 DBSCAN 기반 추정기가 초등급 노름에서 최적의 밀도 추정과 동일한 최소 최대 속도를 달성하는가?
• RQ4 이론적 보장은 점프 불연속성이 있는 밀도로 확장될 수 있으며, 불연속성 크기는 수렴 속도에 어떤 역할을 하는가?
• RQ5 새로운 $\delta$-분리 기준은 스무쓰함과 군집 분리 정도를 더 잘 반영하는가? $(\epsilon,\sigma)$-분리 기준과 비교해보면 어떻게 되는가?

주요 결과

• 제안된 DBSCAN 기반 군집 트리 추정기는 임의의 차수 $\alpha$의 허더-스무쓰한 밀도 하에서 군집 트리 추정에 대해 최소 최대 최적 속도를 달성한다.
• 군집 트리 추정의 최소 최대 속도는 초등급 노름 밀도 추정의 속도와 일치하며, 이는 밀도가 더 스무쓰할수록 군집 성능이 향상됨을 시사한다.
• 점프 불연속성이 있는 밀도에 대해서는 DBSCAN 알고리즘이 최소 최대 속도를 달성하며, 이 속도는 불연속성 크기와 표본 크기에 모두 의존한다.
• $\delta$-분리 기준은 특히 $\alpha \leq 1$일 경우 $(\epsilon,\sigma)$-분리 기준보다 더 정교하고 스무쓰함을 고려한 군집 분리 개념을 제공한다.
• 이론적 분석은 DBSCAN 절차가 계산적으로 효율적일 뿐 아니라 통계적으로도 최적이며, 병합 거리의 일관성이 초등급 노름에서의 밀도 추정 일관성과 연결됨을 확인한다.
• 이 결과는 기존 DBSCAN 분석을 보완하고 확장하며, 스무쓰함 가정 하에서의 최적성을 입증함으로써 이 널리 사용되는 알고리즘의 이론적 이해에 빈도를 메운다.