[논문 리뷰] Parallel Correlation Clustering on Big Graphs

Xinghao Pan, Dimitris Papailiopoulos외 4명|arXiv (Cornell University)|2015. 07. 17.

Complex Network Analysis Techniques참고 문헌 20인용 수 43

한 줄 요약

이 논문은 대규모 그래프를 위한 두 가지 병렬 상관 클러스터링 알고리즘인 C4와 ClusterWild!을 제안한다. 이 알고리즘들은 증명 가능하게 근사 선형 속도 향상을 달성하면서도 강력한 근사 보장을 유지한다. C4는 동시성 제어를 통해 3-근사 비율을 보장하지만, ClusterWild!는 일관성을 포기하여 확장성을 높였으며, 최소한의 정확도 손실로 (3+ε) 근사 비율을 달성한다. 이에 따라 32개 코어에서 10억 간선 그래프를 5초 이내로 클러스터링할 수 있다. 최대 15배의 속도 향상이 가능하다.

ABSTRACT

Given a similarity graph between items, correlation clustering (CC) groups similar items together and dissimilar ones apart. One of the most popular CC algorithms is KwikCluster: an algorithm that serially clusters neighborhoods of vertices, and obtains a 3-approximation ratio. Unfortunately, KwikCluster in practice requires a large number of clustering rounds, a potential bottleneck for large graphs. We present C4 and ClusterWild!, two algorithms for parallel correlation clustering that run in a polylogarithmic number of rounds and achieve nearly linear speedups, provably. C4 uses concurrency control to enforce serializability of a parallel clustering process, and guarantees a 3-approximation ratio. ClusterWild! is a coordination free algorithm that abandons consistency for the benefit of better scaling; this leads to a provably small loss in the 3-approximation ratio. We provide extensive experimental results for both algorithms, where we outperform the state of the art, both in terms of clustering accuracy and running time. We show that our algorithms can cluster billion-edge graphs in under 5 seconds on 32 cores, while achieving a 15x speedup.

연구 동기 및 목표

• KwikCluster와 같은 순차적 상관 클러스터링 알고리즘의 확장성 문제를 해결하기 위해, 많은 라운드를 요구하고 대규모 그래프에 대해 실용적이지 않은 문제를 해결하고자 한다.
• 다중코어 시스템에서 근사 선형 속도 향상을 달성하면서도 강력한 이론적 근사 보장을 유지하는 병렬 상관 클러스터링 알고리즘을 설계하고자 한다.
• 병렬 클러스터링에서 일관성과 성능 간의 상호 상충 관계를 탐색하고, 일관성 있는(C4) 및 협력 없는(ClusterWild!) 접근 방식을 제안하고자 한다.
• 실제 대규모 그래프에서 제안된 알고리즘을 평가하고, 런타임, 정확도, 확장성 측면에서 최신 기술과 비교하고자 한다.

제안 방법

• C4는 병렬 KwikCluster 유사 탈피 프로세스에서 일관성 제어를 사용하여 순차 알고리즘과 동일한 3-근사 비율을 보장한다.
• ClusterWild!는 동기화 없이 동시성으로 정점 탈피를 허용하는 협력 없는 비동기적 접근 방식을 사용하며, 약간의 정확도 손실을 감수하여 상당한 속도 향상을 달성한다.
• 두 알고리즘 모두 다항로그 수준의 라운드 수를 사용하여 대규모 그래프에서 효율적인 확장성을 확보한다.
• 이론적 분석을 통해 ClusterWild!는 '노이즈가 있는' 그래프에서 순차 KwikCluster와 유사하게 작동하며, (3+ε)OPT + O(ε·n·log²n) 근사 보장을 가능하게 한다.
• 다중코어 환경에서 공유 그래프 상태를 관리하기 위해 원자 연산과 스레드 세이프 데이터 구조를 사용한다.
• 실증적 평가를 통해 다양한 실세계 그래프에서 런타임, 속도 향상, 동기화 비용, 클러스터링 목적 함수 값 등을 측정하여 성능을 비교한다.

실험 결과

연구 질문

• RQ1 다중코어 시스템에서 KwikCluster의 3-근사 비율을 유지하면서 근사 선형 속도 향상을 달성할 수 있는 병렬 상관 클러스터링 알고리즘을 설계할 수 있는가?
• RQ2 병렬 클러스터링에서 일관성과 성능 간의 상호 상충 관계는 무엇이며, 증명 가능한 근사 보장을 가진 협력 없는 알고리즘을 설계할 수 있는가?
• RQ3 제안된 알고리즘은 10억 간선 그래프에서 어떻게 확장되며, 32개 코어에서 5초 이내 클러스터링 시간과 높은 속도 향상을 달성할 수 있는가?
• RQ4 ClusterWild!에서 일관성을 포기할 경우 순차 기준 대비 클러스터링 정확도가 얼마나 떨어지는가?
• RQ5 기존 최신 기술의 병렬 상관 클러스터링 방법과 비교할 때, 제안된 알고리즘은 런타임, 정확도, 동기화 오버헤드 측면에서 어떻게 다른가?

주요 결과

• C4와 ClusterWild!는 10억 간선 그래프를 클러스터링할 때 32개 코어에서 최대 15배의 속도 향상을 달성하며, 5초 이내로 완료된다.
• ClusterWild!는 협력 오버헤드가 없기 때문에 C4보다 항상 더 빠르며, 비동기 버전은 BSP 대비 뛰어난 성능을 보인다.
• BSP 알고리즘에서 동기화 라운드 수는 ε 값이 높아질수록 크게 감소하여 ε=0.9일 때 1000 라운드 미만으로 떨어진다.
• C4는 최소한의 차단 오버헤드를 유발하며, 차단된 정점 비율이 0.2% 미만이며, 큰 희박한 그래프에서는 0.02% 미만이다.
• ClusterWild!는 순차 KwikCluster 대비 클러스터링 목적 함수 값에서 최대 1%의 상대적 손실을 기록했으며, 일부 그래프에서는 비동기 버전에서 최대 15%의 성능 저하가 관찰되었다.
• 이전의 병렬 방법인 CDK는 C4와 ClusterWild!보다 2~3개 정도의 지수 차이로 느렸으며, 작은 그래프에서는 목적 함수 값도 열 劣했다.