[논문 리뷰] Distributed Graph Clustering and Sparsification

He Sun, Luca Zanetti|arXiv (Cornell University)|2017. 11. 03.

Complex Network Analysis Techniques참고 문헌 13인용 수 3

한 줄 요약

이 논문은 대규모 그래프에서 클러스터 구조를 유지하는 데 새로운 희소화 기법을 사용하는 간단하고 분산형 그래프 클러스터링 알고리즘을 제안한다. 국소 컨덕턴스와 스펙트럼 성질에 기반해 간선을 샘플링함으로써, 간선 수를 거의 선형 크기로 줄이면서도 낮은 컨덕턴스 클러스터를 유지한다. 이로 인해 통신 오버헤드를 최소화하면서 O(1) 라운드 내에 효율적인 클러스터링을 가능하게 한다.

ABSTRACT

Graph clustering is a fundamental computational problem with a number of applications in algorithm design, machine learning, data mining, and analysis of social networks. Over the past decades, researchers have proposed a number of algorithmic design methods for graph clustering. Most of these methods, however, are based on complicated spectral techniques or convex optimisation, and cannot be directly applied for clustering many networks that occur in practice, whose information is often collected on different sites. Designing a simple and distributed clustering algorithm is of great interest, and has wide applications for processing big datasets. In this paper we present a simple and distributed algorithm for graph clustering: for a wide class of graphs that are characterised by a strong cluster-structure, our algorithm finishes in a poly-logarithmic number of rounds, and recovers a partition of the graph close to optimal. One of the main components behind our algorithm is a sampling scheme that, given a dense graph as input, produces a sparse subgraph that provably preserves the cluster-structure of the input. Compared with previous sparsification algorithms that require Laplacian solvers or involve combinatorial constructions, this component is easy to implement in a distributed way and runs fast in practice.

연구 동기 및 목표

• 분산된 데이터에 적합한 대규모 네트워크를 위한 단순하고 분산형 그래프 클러스터링 알고리즘을 설계하기.
• 밀도가 높은 그래프의 클러스터 구조를 유지하면서도 간선 수를 극적으로 줄일 수 있는 희소화 방법을 개발하기.
• 라운드당 통신 및 계산을 최소화하여 분산 시스템에서 효율적인 클러스터링을 가능하게 하기.
• 다항로그 시간 내에 클러스터 보존 및 수렴 시간에 대한 이론적 보장을 제공하기.

제안 방법

• 국소 컨덕턴스와 스펙트럼 갭(λk+1)에 기반해 간선을 선택하는 샘플링 기반 희소화 기법을 제안하여 클러스터 구조를 유지한다.
• 최적의 샘플링 파라미터 τ ≥ C/λk+1 를 결정하기 위해 두배법(doubling method)을 사용하여 구조적 정밀도를 보장한다.
• 각 노드가 국소 가중치와 차수에 기반해 독립적으로 간선을 샘플링하는 분산 구현 방식을 적용한다.
• 희소화된 그래프에 스펙트럼 클러스터링을 적용하여 원래 최적 분할에 가까운 클러스터를 복원한다.
• 낮은 잘못 분류된 볼륨을 갖는 분산 환경에서 클러스터 레이블을 할당하기 위해 레이블 전파 메커니즘을 도입한다.
• 이론적 분석을 통해 희소화기가 각 클러스터 Si에 대해 Ω(ΥG(k)/k) 갭과 O(k·φG(Si)) 컨덕턴스를 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 간단하고 분산된 알고리즘이 다항로그 시간 내에 거의 최적의 그래프 클러스터링을 달성할 수 있는가?
• RQ2 밀도가 높은 그래프는 어떻게 희소화하면서도 기저의 클러스터 구조를 유지할 수 있는가?
• RQ3 원래 그래프에서 낮은 컨덕턴스를 가지는 클러스터가 희소화된 버전에서도 낮은 컨덕턴스를 유지하도록 보장하는 샘플링 전략은 무엇인가?
• RQ4 이러한 분산 클러스터링 알고리즘의 통신 및 라운드 복잡도는 어떻게 되는가?
• RQ5 희소화된 그래프에서의 스펙트럼 클러스터링이 원래 그래프의 클러스터링을 얼마나 잘 근사할 수 있는가?

주요 결과

• 알고리즘은 총 O(nτ·log n) 통신량을 가지며 O(1) 라운드 내에 클러스터링을 달성한다. 여기서 τ = 1.6 이면 모든 테스트 데이터셋에서 충분하다.
• 희소화된 그래프는 원래 간선의 0.14%에서 3.13%를 유지하면서도 클러스터링 품질이 0.1% 이내 오차 범위 내에 유지된다.
• Sculpture 데이터셋(11,680개 노드, 6800만 개 간선)의 경우, 간선의 0.37%(32만 개)만 샘플링되었고, 원래 그래프의 정규화 컷 값 0.0938 대비 0.0935를 기록했다.
• 희소화된 그래프에서 각 클러스터의 컨덕턴스는 원래 값의 O(k) 요소 내에서 유지되어 구조적 정밀도가 보장된다.
• 알고리즘은 ΥH(k) = Ω(ΥG(k)/k) 를 유지하여 잘 정의된 클러스터에 필요한 스펙트럼 갭을 보존한다.
• 시각화 및 오차 비율 분석 결과, 모든 데이터셋에서 원래 그래프와 희소화된 그래프 간의 클러스터링 결과가 거의 동일하게 나타난다.