[논문 리뷰] Sampling Clustering

Ching Tarn, Yinan Zhang외 1명|arXiv (Cornell University)|2018. 06. 21.

Complex Network Analysis Techniques참고 문헌 1인용 수 1

한 줄 요약

이 논문은 그래프 기반의 분할형 클러스터링 방법인 Reductive Clustering를 제안한다. 이 방법은 정점 선택, 재연결, 분할을 반복적으로 수행하여 그래프를 단순화함으로써, 압축되고 정보가 풍부한 계층적 계층도를 구축하는 선형 시간 알고리즘이다. 그래프 단순화 과정에서 구조적 일致성을 유지함으로써, 기존 방법에 비해 훨씬 적은 계산 자원을 사용하면서도 최신 기술 수준의 클러스터링 성능을 달성한다.

ABSTRACT

We propose an efficient linear-time graph-based divisive cluster analysis approach called Reductive Clustering. The approach tries to reveal the hierarchical structural information through reducing the graph into a more concise one repeatedly. With the reductions, the original graph can be divided into subgraphs recursively, and a lite informative dendrogram is constructed based on the divisions. The reduction consists of three steps: selection, connection, and partition. First a subset of vertices of the graph are selected as representatives to build a concise graph. The representatives are re-connected to maintain a consistent structure with the previous graph. If possible, the concise graph is divided into subgraphs, and each subgraph is further reduced recursively until the termination condition is met. We discuss the approach, along with several selection and connection methods, in detail both theoretically and experimentally in this paper. Our implementations run in linear time and achieve outstanding performance on various types of datasets. Experimental results show that they outperform state-of-the-art clustering algorithms with significantly less computing resource requirements.

연구 동기 및 목표

• 그래프의 계층적 구조적 정보를 드러내는 효율적이고 선형 시간의 클러스터링 알고리즘을 개발하기.
• 기존 클러스터링 방법의 높은 계산 비용 문제를 해결하기 위해 반복적 단순화를 통해 그래프 복잡도를 감소시키기.
• 원래 그래프의 구조적 관계를 유지하는 압축되고 정보가 풍부한 계층도를 구축하기.
• 최신 기술 수준의 방법들과 비교해 정확도를 유지하거나 향상시키면서 자원 사용량을 최소화하기.
• 그래프 기반의 분할형 클러스터링을 위한 이론적으로 타당하고 실험적으로 검증된 프레임워크 제공하기.

제안 방법

• 알고리즘은 그래프 단순화를 세 단계로 수행한다: 정점 선택, 대표 정점 재연결, 단순화된 그래프의 재귀적 분할.
• 원래 구조의 필수 연결성을 유지하면서도 더 압축된 그래프를 형성하기 위해 정점들을 대표로 선택한다.
• 원래 그래프의 위상 구조 및 클러스터링 성질과 일致하도록 대표 정점 간 재연결을 수행한다.
• 단순화된 그래프가 가능한 한 재귀적으로 분할되며, 종료 조건을 만족할 때까지 반복된다.
• 성능과 구조적 충실도를 최적화하기 위해 다양한 선택 및 연결 전략을 평가한다.
• 알고리즘은 선형 시간에 작동하므로, 크고 다양한 데이터셋에 대해 확장 가능하다.

실험 결과

연구 질문

• RQ1 그래프 기반의 분할형 클러스터링 접근 방식이 계층적 구조를 유지하면서도 선형 시간 복잡도를 달성할 수 있는가?
• RQ2 다양한 정점 선택 및 재연결 전략은 그래프 단순화 과정에서 클러스터링 정확도를 얼마나 잘 유지하는가?
• RQ3 제안된 방법은 속도와 자원 효율성 측면에서 최신 기술 수준의 클러스터링 알고리즘보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 단순화된 그래프 표현도 여전히 의미 있고 정보가 풍부한 계층도를 생성할 수 있는가?
• RQ5 이 방법은 다양한 유형의 실세계 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 Reductive Clustering 방법은 선형 시간에 작동하여 기존 방법 대비 계산 자원 요구량을 크게 감소시킨다.
• 알고리즘은 원래 그래프의 계층적 구조를 포착하는 압축되고 정보가 풍부한 계층도를 구축한다.
• 실험 결과, 다양한 유형의 데이터셋에서 최신 기술 수준의 클러스터링 알고리즘을 초월하는 성능을 보였다.
• 강력한 그래프 단순화와 감소에도 불구하고 높은 클러스터링 정확도를 유지한다.
• 다양한 선택 및 연결 전략은 성능에 차이를 보이지만, 모두 최소한의 오버헤드로 뛰어난 성능을 달성한다.
• 선형 시간 복잡도와 낮은 메모리 사용량 덕분에 대규모 데이터셋에 대해 효율적으로 확장된다.