[논문 리뷰] FISHDBC: Flexible, Incremental, Scalable, Hierarchical Density-Based Clustering for Arbitrary Data and Distance

Matteo Dell’Amico|arXiv (Cornell University)|2019. 10. 16.

Advanced Clustering Algorithms Research참고 문헌 30인용 수 7

한 줄 요약

FISHDBC는 특징 추출이 필요 없이 임의의 데이터 유형과 사용자 정의 거리 함수를 지원하는 유연하고 증분적이고 확장 가능하며 계층적인 밀도 기반 클러스터링 알고리즘입니다. 동적 스패닝 트리와 HNSW를 통한 근사 근접 이웃 검색을 사용하여 확장성을 확보하여, 고차원 및 메모리 제약 조건에서 HDBSCAN*을 능가하지만, 경쟁 가능한 클러스터링 품질을 유지하며 계층적 탐색을 가능하게 합니다.

ABSTRACT

FISHDBC is a flexible, incremental, scalable, and hierarchical density-based clustering algorithm. It is flexible because it empowers users to work on arbitrary data, skipping the feature extraction step that usually transforms raw data in numeric arrays letting users define an arbitrary distance function instead. It is incremental and scalable: it avoids the $\mathcal O(n^2)$ performance of other approaches in non-metric spaces and requires only lightweight computation to update the clustering when few items are added. It is hierarchical: it produces a "flat" clustering which can be expanded to a tree structure, so that users can group and/or divide clusters in sub- or super-clusters when data exploration requires so. It is density-based and approximates HDBSCAN*, an evolution of DBSCAN.

연구 동기 및 목표

• 기존 클러스터링 알고리즘이 수치형 특징, 고정된 거리 메트릭, 또는 비메트릭 공간에서 O(n²) 복잡도를 가지는 등의 한계를 해결하기 위해.
• 데이터 업데이트 시에 낮은 계산 오버헤드로 스트리밍 데이터를 위한 증분 클러스터링을 지원하기 위해.
• 사용자가 다양한 세부 수준에서 클러스터를 탐색할 수 있도록 계층적 클러스터링 구조를 제공하기 위해.
• 수백만 개의 데이터 항목으로 확장되면서도 고차원 또는 희소 데이터를 처리할 수 있도록 높은 클러스터링 품질을 유지하기 위해.
• 도메인 전문가가 성능 손실 없이 복잡한 비메트릭 거리 함수를 정의할 수 있는 탄력적인 프레임워크를 제공하기 위해.

제안 방법

• FISHDBC는 데이터 포인트 간 연결성을 유지하기 위해 스패닝 트리 데이터 구조를 사용하여 효율적인 이웃 탐색과 증분 업데이트를 가능하게 합니다.
• 근사 근접 이웃 검색을 위해 계층적 내비게이터블 스몰 월드(HNSW) 그래프를 활용하여 이웃 계산 비용을 감소시킵니다.
• 이웃 탐색과 모델 유지 관리를 분리하여 구현을 단순화하고 효율적인 증분 업데이트를 가능하게 합니다.
• 스패닝 트리를 확장하고 HNSW 기반 이웃 범위를 사용해 국소 밀도 추정치를 계산함으로써 클러스터링을 증분적으로 구축합니다.
• 평탄한 클러스터링에서 유도된 계층적 클러스터링 구조는 밀도 임계값 기반으로 반복적으로 클러스터를 병합하거나 분할하여 유도됩니다.
• HDBSCAN*의 다양한 밀도의 클러스터 탐지 및 노이즈 필터링 능력을 유지하면서도, 효율적 인덱싱을 통해 O(n²) 복잡도를 피함으로써 HDBSCAN*을 근사합니다.

실험 결과

연구 질문

• RQ1 특징 추출 없이도 임의의 비메트릭 거리 함수에 대해 O(n log n) 확장성을 유지할 수 있는 클러스터링 알고리즘이 존재할 수 있는가?
• RQ2 새로운 데이터가 스트리밍 방식으로 도착할 때 증분 클러스터링 성능이 배치 처리 방법과 비교해 어떻게 되는가?
• RQ3 클러스터링 품질을 희생시키지 않고 계층적 클러스터링 구조를 효율적으로 구성하고 탐색할 수 있는 정도는 어느 정도인가?
• RQ4 고차원 또는 희소 데이터에서 일반적인 근사 이웃 검색이 특수화된 가속 인덱스를 능가하는가?
• RQ5 FISHDBC의 정규화 효과가 HDBSCAN*에 비해 더 강건하거나 간결한 클러스터링 결과를 도출하는가?

주요 결과

• FISHDBC는 수백만 개의 항목을 포함하는 데이터셋에서도 확장 가능하며, 고차원 밀도 데이터셋인 Blobs에서 HDBSCAN*보다 훨씬 낮은 런타임을 기록했습니다.
• DW-NYTimes 데이터셋에서 FISHDBC는 성공적으로 클러스터링을 완료했지만, HDBSCAN*는 메모리 부족 오류로 실패하여 더 뛰어난 메모리 효율성을 입증했습니다.
• 유클리드 및 코사인 거리에서 FISHDBC는 내부 메트릭(AMI*, ARI*)에서 HDBSCAN*과 유사한 클러스터링 품질을 달성했으며, 표준편차는 각각 0.01과 0.00이었습니다.
• Household 데이터셋에서 FISHDBC는 가속 HDBSCAN*에 비해 약간 느렸지만, 더 적은 수의 클러스터를 생성하여 탐색적 분석에서 데이터 요약에 더 적합할 수 있었습니다.
• FISHDBC의 계층적 출력 덕분에 평탄한 클러스터링에서 많은 포인트가 노이즈로 분류되는 상황에서도 거의 모든 데이터 포인트가 클러스터에 할당되었으며, 이는 데이터 탐색 능력을 향상시켰습니다.
• 고차원 환경에서 FISHDBC는 HNSW의 고차원성에 대한 강건성 덕분에 HDBSCAN*을 능가했으며, 전통적인 인덱스 구조가 떨어지는 것에 대비해 뛰어난 성능을 보였습니다.