[논문 리뷰] Faster DBSCAN via subsampled similarity queries

Heinrich Jiang, Jennifer Jang외 1명|arXiv (Cornell University)|2020. 06. 11.

Advanced Clustering Algorithms Research참고 문헌 55인용 수 9

한 줄 요약

이 논문은 클러스터 구조를 유지하면서 에psilon-근접 그래프의 간선을 부분 샘플링하는 더 빠른 DBSCAN의 변종인 SNG-DBSCAN을 제안한다. O(log n / n)의 간선만을 샘플링하고 유사도 쿼리에 의존함으로써 O(n log n)의 런타임을 달성하며, 대규모 데이터셋에서 최대 200배 빠른 속도와 250배 적은 메모리 사용량을 기록한다. 이는 이론적 일致성 보장 하에 경쟁 가능한 클러스터링 품질을 유지한다.

ABSTRACT

DBSCAN is a popular density-based clustering algorithm. It computes the $ε$-neighborhood graph of a dataset and uses the connected components of the high-degree nodes to decide the clusters. However, the full neighborhood graph may be too costly to compute with a worst-case complexity of $O(n^2)$. In this paper, we propose a simple variant called SNG-DBSCAN, which clusters based on a subsampled $ε$-neighborhood graph, only requires access to similarity queries for pairs of points and in particular avoids any complex data structures which need the embeddings of the data points themselves. The runtime of the procedure is $O(sn^2)$, where $s$ is the sampling rate. We show under some natural theoretical assumptions that $s \approx \log n/n$ is sufficient for statistical cluster recovery guarantees leading to an $O(n\log n)$ complexity. We provide an extensive experimental analysis showing that on large datasets, one can subsample as little as $0.1\%$ of the neighborhood graph, leading to as much as over 200x speedup and 250x reduction in RAM consumption compared to scikit-learn's implementation of DBSCAN, while still maintaining competitive clustering performance.

연구 동기 및 목표

• 데이터셋 크기에 따라 이차적으로 증가하는 계산 비용으로 인해 전체 이웃 그래프 계산이 필요한 DBSCAN의 높은 계산 비용을 해결하기 위해.
• 표준 DBSCAN이 메모리나 시간 제약으로 인해 실패하는 대규모 데이터셋에서 확장 가능한 밀도 기반 클러스터링을 가능하게 하기 위해.
• 복잡한 데이터 구조를 피하고 특정 거리 메트릭이 아닌 임의의 유사도 함수와도 호환되는 방법을 개발하기 위해.
• 데이터 밀도와 클러스터 간 분리에 대한 자연스러운 가정 하에 클러스터 복구에 대한 이론적 보장을 제공하기 위해.
• 간선의 0.1% 미만의 부분 샘플링이 경쟁 가능한 클러스터링 성능을 유지하는지 실증적으로 검증하기 위해.

제안 방법

• SNG-DBSCAN은 전체 이웃 그래프에서 균일하게 간선을 샘플링하여 부분 샘플링된 에psilon-이웃 그래프를 구성한다.
• 이 방법은 오직 무작위 점 쌍 간의 유사도 쿼리에 의존하여 간선이 포함될지 여부를 결정한다 (즉, 거리 ≤ ε 이면 포함).
• Karger(1995)의 이론적 결과에 따르면, O(log n / n)의 간선 샘플링이 높은 차수의 노드(핵심점)의 연결 성분을 높은 확률로 유지함을 보여준다.
• 알고리즘은 부분 샘플링된 그래프를 처리하여 연결 성분을 추출하고 최종 클러스터를 형성한다.
• KD-트리와 같은 공간 분할 데이터 구조를 피하므로, 임의의 유사도 함수와 호환된다.
• 전체 복잡도는 s가 샘플링 비율일 때 O(sn²)이며, 이론적 가정 하에 s ≈ log n / n 일 때 총 런타임이 O(n log n)이 된다.

실험 결과

연구 질문

• RQ1 부분 샘플링된 에psilon-이웃 그래프가 DBSCAN 클러스터링에 필요한 핵심점의 연결 성분을 유지할 수 있는가?
• RQ2 통계적 일致성과 정확한 클러스터 복구를 보장하기 위해 필요한 최소 샘플링 비율 s는 얼마인가?
• RQ3 부분 샘플링 접근법이 이차적 런타임을 초과하지 않으면서도 실제 세계 데이터셋에서 경쟁 가능한 클러스터링 성능을 유지를 할 수 있는가?
• RQ4 표준 DBSCAN 및 DBSCAN++과 같은 최적화된 변종과 비교해 SNG-DBSCAN의 속도와 메모리 사용량은 어떻게 되는가?
• RQ5 이 방법은 저차원 및 고차원 설정을 포함한 다양한 데이터셋에서 여전히 효과적인가?

주요 결과

• 최대 백만 개의 점을 포함하는 데이터셋에서 SNG-DBSCAN은 scikit-learn의 DBSCAN 구현체 대비 최대 200배 빠른 속도와 250배 감소한 메모리 사용량을 기록했다.
• 이웃 그래프의 0.1% 미만의 부분 샘플링만으로도 경쟁 가능한 클러스터링 성능을 유지했으며, 대부분의 데이터셋에서 ARI 및 AMI 점수가 전체 DBSCAN에 비해 10% 이내였다.
• SNG-DBSCAN은 테스트된 70%의 메트릭에서 DBSCAN++을 능가했으며, 특히 핵심점 선택이 열악한 고차원 데이터(예: Australian)에서는 DBSCAN++이 실패하는 데서도 성능을 유지를 하였다.
• 이론적 분석 결과, s ≈ log n / n의 간선 샘플링이 표준 밀도 가정 하에 핵심점의 연결 성분을 높은 확률로 유지함을 보여주었다.
• 작은 데이터셋에서는 1%에서 30%의 간선 샘플링으로도 최적의 튜닝 하에 경쟁 가능한 클러스터링 점수를 유지하면서 런타임 향상을 크게 기록했다.
• 큰 ε 값에서는 표준 DBSCAN이 메모리 고갈로 인해 실패하지만, SNG-DBSCAN은 여전히 실행 가능하여 이전에는 처리 불가능했던 데이터셋에 대한 클러스터링을 가능하게 하였다.