[논문 리뷰] DBSCAN++: Towards fast and scalable density clustering

Jennifer Jang, Heinrich Jiang|arXiv (Cornell University)|2018. 10. 31.

Advanced Clustering Algorithms Research인용 수 43

한 줄 요약

DBSCAN++은 점들의 부분집합에 대해 밀도를 계산하는 서브-제곱 복잡도를 갖는 DBSCAN의 변형으로, 속도 향상을 달성하고 대역폭에 대한 경쟁력 있는 정확도와 강건성을 제공합니다.

ABSTRACT

DBSCAN is a classical density-based clustering procedure with tremendous practical relevance. However, DBSCAN implicitly needs to compute the empirical density for each sample point, leading to a quadratic worst-case time complexity, which is too slow on large datasets. We propose DBSCAN++, a simple modification of DBSCAN which only requires computing the densities for a chosen subset of points. We show empirically that, compared to traditional DBSCAN, DBSCAN++ can provide not only competitive performance but also added robustness in the bandwidth hyperparameter while taking a fraction of the runtime. We also present statistical consistency guarantees showing the trade-off between computational cost and estimation rates. Surprisingly, up to a certain point, we can enjoy the same estimation rates while lowering computational cost, showing that DBSCAN++ is a sub-quadratic algorithm that attains minimax optimal rates for level-set estimation, a quality that may be of independent interest.

연구 동기 및 목표

• 대규모 데이터셋에서 DBSCAN의 최악의 경우 제곱 복잡도 때문에 더 빠른 밀도 기반 클러스터링의 필요성을 자극한다.
• 밀도를 계산하는 점의 부분집합을 사용하도록 수정한 DBSCAN++를 도입하여 연산을 감소시킨다.
• 연산과 추정 속도 간의 트레이드오프를 정량화하고 통계적 일관성 보장을 확립한다.
• 실제 및 시뮬레이션 데이터에서 다양한 하이퍼파라미터에 대한 경험적 속도 향상과 강건한 클러스터링 성능을 입증한다.

제안 방법

• eps 이웃에 minPts 이상인 점을 코어 포인트로 정의한다.
• 밀도 계산을 위해 m개의 점의 부분집합 S를 선택하고 S로부터 코어 포인트 그래프를 구축하는 DBSCAN++를 제안한다.
• 부분집합 S를 선택하기 위해 균등 샘플링(알고리즘 2)이나 그리디 K-센터 초기화(알고리즘 3)를 사용한다.
• 코어 포인트에 대한 이웃 그래프를 구성하고 연결 요소로 클러스터를 얻으며 비코어 포인트를 가장 가까운 코어 포인트에 할당한다.
• 시간 복잡도를 O(nm)으로 분석하고 밀도 레벨셋 추정에 대한 일관성과의 관계를 보인다.
• 멀리 떨어진 구성요소 간의 잘못된 연결을 방지하고 강건성을 높이기 위한 코어 포인트 가지치기를 제공한다.

실험 결과

연구 질문

• RQ1 부분 집합의 밀도 계산으로도 DBSCAN처럼 밀도 레벨셋과 연결 구성요소를 회복할 수 있는가?
• RQ2 부분집합 크기 m과 추정 속도 및 클러스터링 정확도 간의 트레이드오프는 무엇인가?
• RQ3 균등 샘플링과 K-센터 기반 샘플링이 이론적 보장과 실용적 강건성 이점을 DBSCAN보다 제공하는가?
• RQ4 실제 데이터 세트와 다양한 하이퍼파라미터에서 DBSCAN++의 속도와 강건성은 어떤가?

주요 결과

• DBSCAN++은 m 점만 밀도를 질의하여 실행 시간을 서브-제곱 O(nm)으로 달성한다.
• 보증: m ≈ n^{D/(2β+D)}일 때 DBSCAN++은 로그 인자에 의한 상한에서 레벨셋 추정의 미니맥스 최적 속도를 달성한다.
• DBSCAN++은 DBSCAN과 유사한 밀도 레벨셋 추정에 대한 일관성 보장을 유지한다.
• 균등 초기화와 K-센터 초기화는 ε 및 minPts 설정에서 경쟁력 있거나 우수한 클러스터링 성능과 강건성을 제공한다.
• 실험 결과는 실제 데이터 세트와 이미지 분할 작업에서 DBSCAN에 비해 상당한 속도 향상을 보이며 유사하거나 더 나은 클러스터링 점수를 달성한다.