[논문 리뷰] Graph sketching-based Massive Data Clustering.

Anne Morvan, Krzysztof Choromański외 2명|arXiv (Cornell University)|2017. 03. 07.

Advanced Clustering Algorithms Research참고 문헌 25인용 수 5

한 줄 요약

이 논문은 유사도 그래프의 스케치를 기반으로 하며, 스트리밍 방식으로 최소 스패닝 트리(MST)를 근사함으로써 대규모 데이터셋으로부터 임의의 형태의 클러스터를 복원하는, 매개변수 없는 클러스터링 방법인 DBMSTClu를 제안한다. 이 방법은 클러스터 수나 형태에 대한 사전 지식이 없이도 정확한 클러스터링을 달성하며, O(N polylog(N))의 공간 복잡도를 사용하고 클러스터링 품질에 이론적 보장을 제공한다.

ABSTRACT

In this paper, we address the problem of recovering arbitrary-shaped data clusters from massive datasets. We present DBMSTClu a new density-based non-parametric method working on a limited number of linear measurements i.e. a sketched version of the similarity graph $G$ between the $N$ objects to cluster. Unlike $k$-means, $k$-medians or $k$-medoids algorithms, it does not fail at distinguishing clusters with particular structures. No input parameter is needed contrarily to DBSCAN or the Spectral Clustering method. DBMSTClu as a graph-based technique relies on the similarity graph $G$ which costs theoretically $O(N^2)$ in memory. However, our algorithm follows the dynamic semi-streaming model by handling $G$ as a stream of edge weight updates and sketches it in one pass over the data into a compact structure requiring $O(N \operatorname{poly} \operatorname{log} (N))$ space. Thanks to the property of the Minimum Spanning Tree (MST) for expressing the underlying structure of a graph, our algorithm successfully detects the right number of non-convex clusters by recovering an approximate MST from the graph sketch of $G$. We provide theoretical guarantees on the quality of the clustering partition and also demonstrate its advantage over the existing state-of-the-art on several datasets.

연구 동기 및 목표

• 기존의 k-means나 DBSCAN과 같은 방법이 실패하는 경우에도, 임의의 형태의 클러스터를 가진 대규모 데이터셋을 클러스터링하는 데 도전하는 것.
• DBSCAN과 스펙트럴 클러스터링에서 요구하는 클러스터 수나 거리 임계값과 같은 입력 매개변수의 필요성을 제거하는 것.
• 동적 반스트리밍 모델에서 전체 유사도 그래프를 압축된 스케치로 표현함으로써 대규모 데이터 처리를 효율적으로 가능하게 하는 것.
• 최소 스패닝 트리(MST)의 구조적 특성을 활용하여 비볼록 데이터에서 내재된 클러스터 경계를 탐지하는 것.
• 스케칭 프레임워크 하에서 얻어진 클러스터링 파artition의 품질에 대해 이론적 보장을 제공하는 것.

제안 방법

• 이 방법은 동적 반스트리밍을 사용해 데이터를 한 번의 스캔로 생성된 유사도 그래프 G의 스케치 위에서 작동하며, 메모리 복잡도를 O(N²)에서 O(N polylog(N))으로 감소시킨다.
• 압축된 표현을 유지하기 위해 그래프 스케칭 기법을 활용하여 전체 유사도 그래프의 효율적인 저장 및 처리를 가능하게 한다.
• 알고리즘은 그래프 스케치로부터 근사된 MST를 복원하며, 이는 데이터의 내재된 클러스터 구조를 반영할 수 있는 MST의 능력을 활용한다.
• 클러스터 경계는 근사된 MST의 구조를 분석함으로써 식별되며, 특히 간선 가중치의 임계값과 연결 성분을 통해 이루어진다.
• 비모수적이고 밀도 기반인 이 접근법은 클러스터 수나 밀도 매개변수에 대한 사전 지식 없이도 임의의 형태의 클러스터를 탐지할 수 있다.
• 이론적 분석을 통해 스케칭 근사 하에서 클러스터링 파artition의 품질이 유지됨을 보장하며, 정확성과 안정성에 대한 보장을 제공한다.

실험 결과

연구 질문

• RQ1 매개변수 없는 클러스터링 방법이 클러스터 수나 밀도 임계값에 대한 사전 지식 없이도 대규모 데이터셋에서 비볼록 클러스터를 효과적으로 탐지할 수 있는가?
• RQ2 전체 유사도 그래프의 스케치가 정확한 클러스터링에 필요한 구조적 특성, 특히 MST를 얼마나 잘 유지할 수 있는가?
• RQ3 동적 반스트리밍 모델을 어떻게 활용하여 대규모 유사도 그래프의 압축되고 정확한 표현을 유지할 수 있는가?
• RQ4 스케치된 그래프의 최소 스패닝 트리(MST)가 복잡하고 임의의 형태를 가진 데이터에서 진정으로 내재된 클러스터 구조를 신뢰성 있게 드러낼 수 있는가?
• RQ5 그래프 스케칭과 MST 근사 기법을 사용할 경우, 클러스터링 파artition의 품질에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• DBMSTClu는 k나 ε와 같은 입력 매개변수를 요구하지 않음에도 불구하고, 비볼록 클러스터의 정확한 수를 탐지하는 데 성공하였다. 이는 DBSCAN이나 k-means와는 달리 해당 매개변수 없이도 가능하다.
• 다양한 벤치마크 데이터셋에서 상태 기준 최고 수준의 방법들과 비교해도, O(N polylog(N))의 메모리만을 사용함에도 불구하고 동등하거나 더 뛰어난 클러스터링 품질을 달성하였다.
• 스케칭 과정은 원본 유사도 그래프의 충분한 구조적 정보를 유지하여 정확한 MST 근사화를 가능하게 하며, 이는 정확한 클러스터 탐지에 기여한다.
• 이론적 분석을 통해 스케치된 MST에서 유도된 클러스터링 파artition가 진정된 내재된 클러스터 구조와 높은 일치성을 유지함을 확인하였다.
• 유사도 그래프를 스트림으로 처리함으로써 알고리즘이 대규모 데이터셋에 대해 효율적으로 스케일업되며, 제한된 메모리 환경에서의 실생활 응용에 적합하다.