[논문 리뷰] Optimal Rates for Cluster Tree Estimation using Kernel Density Estimators

Daren Wang, Xinyang Lu외 1명|arXiv (Cornell University)|2017. 06. 09.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 힐더 스무쓰니스 가정 하에 커널 밀도 추정기를 사용하여 확률 밀도의 클러스터 트리를 추정할 때 최소최대 최적 속도를 확립한다. 이는 스무쓰니스 정도 α에 맞춘 대역폭 선택을 통해 최적의 수렴 속도를 달성하는 커널 스무딩 기반의 최적 추정기를 제안하며, α ≤ 1 이거나 밀도가 모어스 조건을 만족하고 α = 2일 경우 DBSCAN이 최적의 속도를 달성함을 보여준다.

ABSTRACT

We study the problem of optimal estimation of the density cluster tree under various assumptions on the underlying density. Following up on the seminal work of Chaudhuri et al, we formulate a new notion of clustering consistency which is better suited to smooth densites, and derive minimax rates of consistency for cluster tree estimation for H\{o}lder smooth density of arbitary degree $\alpha$. Our rates depend explicitly in the degree of smoothness of the density and match minimax rates for density estimation under the supremum norm. We exhibit a rate optimal cluster tree estimator, which is derived from a kernel density estimator with an appropaiete choice of the kernel and the bandwidth, assuming knowledge of $\alpha$. We also show that the computationally efficient DBSCAN algorithm achieves the optimal rate for clustering when $\alpha\le 1$ and that a simple variant of the DBSCAN algorithm, is also optimal when the density is Morse and $\alpha =2 $. We also derive minimax rates for estimaing the level sets of density with jump discontinuities of prescribed size and demonstrate that a DBSCAN-based algorithm is also rate optimal for this problem.

연구 동기 및 목표

• 부드러운 밀도에 적합한 새로운 클러스터링 일致성의 개념을 체계화하기 위해.
• 임의의 차수 α에 대한 힐더 스무쓰니스 조건 하에서 클러스터 트리 추정의 최소최대 속도를 도출하기 위해.
• 최적의 커널과 대역폭 선택을 통한 커널 밀도 추정을 활용한 최적 수렴 속도를 갖는 클러스터 트리 추정기 구축하기 위해.
• 특정 스무쓰니스 및 구조적 가정 하에서 DBSCAN과 그 변형의 성능을 분석하여 최적 속도를 달성하는지 확인하기 위해.
• 밀도에 점프 불연속성이 존재하는 경우의 레벨 세트 추정으로 최소최대 분석을 확장하기 위해.

제안 방법

• 기본 밀도의 스무쓰니스를 고려한 새로운 클러스터링 일치성 정의를 제안한다.
• 힐더 스무쓰니스 차수 α 조건 하에서 클러스터 트리 추정의 최소최대 하한을 유도한다.
• 최적의 수렴 속도를 달성하기 위해 α에 따라 함수적으로 결정되는 대역폭을 갖는 커널 밀도 추정기를 구성한다.
• 최적의 추정기가 초등수렴 노름 하에서 밀도 추정의 최소최대 속도와 일치함을 보여준다.
• 스무쓰니스 및 모어스 조건 가정 하에서 DBSCAN과 그 변형의 성능을 분석하여 수렴 속도의 최적성 증명한다.
• 동일한 최소최대 프레임워크를 점프 불연속성이 존재하는 밀도의 레벨 세트 추정에 적용하여, DBSCAN 기반 방법이 수렴 속도 최적임을 보여준다.

실험 결과

연구 질문

• RQ1 힐더 스무쓰니스 차수 α 조건 하에서 클러스터 트리 추정의 최적 수렴 속도는 무엇인가?
• RQ2 제안된 클러스터링 일치성 개념은 부드러운 밀도에 대해 이전 정의보다 어떻게 향상되었는가?
• RQ3 DBSCAN은 스무쓰니스 조건 하에서 클러스터 트리 추정의 최소최대 최적 속도를 달성할 수 있는가?
• RQ4 점프 불연속성이 존재하는 밀도의 레벨 세트 추정에 대한 최소최대 속도는 무엇인가?
• RQ5 밀도의 구조(예: 모어스 조건)는 클러스터 트리 추정에서 DBSCAN의 최적성에 어떤 영향을 미치는가?

주요 결과

• 클러스터 트리 추정의 최소최대 속도는 초등수렴 노름 하에서 밀도 추정의 최소최대 속도와 일치하며, 힐더 스무쓰니스 차수 α에 명시적인 의존성을 갖는다.
• α가 알려진 경우, 대역폭이 n^{-1/(2α+d)} 비례하는 커널 밀도 추정기는 최적의 속도를 달성한다.
• 밀도가 힐더 스무쓰니스를 만족하고 α ≤ 1일 경우, DBSCAN은 클러스터 트리 추정에서 최적의 속도를 달성한다.
• 밀도가 모어스 조건을 만족하고 α = 2일 경우, 수정된 DBSCAN 변형이 최적의 속도를 달성한다.
• 점프 불연속성이 존재하는 밀도의 레벨 세트 추정에 대한 최소최대 속도를 도출하였으며, DBSCAN 기반 알고리즘이 수렴 속도 최적임을 보였다.
• 제안된 클러스터링 일치성 개념은 이전 정의보다 부드러운 밀도에 더 적합하며, 더 날카운 수렴 분석이 가능하게 한다.