[논문 리뷰] Clique counting in MapReduce: theory and experiments

Irene Finocchi, Marco Finocchi외 1명|arXiv (Cornell University)|2014. 03. 04.

Complex Network Analysis Techniques참고 문헌 40인용 수 14

한 줄 요약

이 논문은 대규모 그래프에서 k-클리크를 세는 데 있어 최초로 확장 가능하고 정확한 MapReduce 알고리즘을 제안하며, 최적의 워크 복잡도 O(m^{k/2})와 총 공간 복잡도 O(m^{3/2})를 달성하고, 통신 비용이 k에 독립적임을 보여준다. 또한 높은 정확도를 유지하면서 실행 시간과 공간을 크게 줄이는 샘플링 기반 추정기법을 도입하여, 특히 큰 k와 조밀한 그래프에서 뛰어난 성능을 발휘한다.

ABSTRACT

We tackle the problem of counting the number of $k$-cliques in large-scale graphs, for any constant $k \ge 3$. Clique counting is essential in a variety of applications, among which social network analysis. Due to its computationally intensive nature, we settle for parallel solutions in the MapReduce framework, which has become in the last few years a {\em de facto} standard for batch processing of massive data sets. We give both theoretical and experimental contributions. On the theory side, we design the first exact scalable algorithm for counting (and listing) $k$-cliques. Our algorithm uses $O(m^{3/2})$ total space and $O(m^{k/2})$ work, where $m$ is the number of graph edges. This matches the best-known bounds for triangle listing when $k=3$ and is work-optimal in the worst case for any $k$, while keeping the communication cost independent of $k$. We also design a sampling-based estimator that can dramatically reduce the running time and space requirements of the exact approach, while providing very accurate solutions with high probability. We then assess the effectiveness of different clique counting approaches through an extensive experimental analysis over the Amazon EC2 platform, considering both our algorithms and their state-of-the-art competitors. The experimental results clearly highlight the algorithm of choice in different scenarios and prove our exact approach to be the most effective when the number of $k$-cliques is large, gracefully scaling to non-trivial values of $k$ even on clusters of small/medium size. Our approximation algorithm achieves extremely accurate estimates and large speedups, especially on the toughest instances for the exact algorithms. As a side effect, our study also sheds light on the number of $k$-cliques of several real-world graphs, mainly social networks, and on its growth rate as a function of $k$.

연구 동기 및 목표

• 고정밀도 클러스터링 계수를 가진 사회망과 같은 대규모 그래프에서 k-클리크를 효율적으로 세는 도전 과제를 해결한다.
• 작업량과 통신 비용을 최소화하면서 이론적으로 최적인 확장 가능한 MapReduce 알고리즘을 설계하여 정확한 k-클리크 세기 알고리즘을 구현한다.
• 실행 시간과 공간 사용량을 극적으로 줄이면서도 높은 정확도를 유지하는 샘플링 기반 근사 방법을 개발한다.
• 실제 그래프를 대상으로 Amazon EC2에서 정확한 알고리즘과 근사 알고리즘을 실험적으로 평가하여 다양한 워크로드와 k 값에서의 성능 트레이드오프를 분석한다.

제안 방법

• 고도의 차수를 가진 정점 기반으로 그래프를 분할하고, 이중 단계 접근 방식을 사용하는 MapReduce 알고리즘을 설계한다. 첫 번째 단계에서는 각 정점을 고차수 이웃 정점으로 매핑하고, 두 번째 단계에서는 유도된 부분그래프에서 (k-1)-클리크를 세는 방식이다.
• 작업 최적화 전략을 적용하여, 각 리듀서가 처리하는 간선 수를 O(m^{(k-1)/2})로 제한하고 총 공간을 O(m^{3/2})로 유지함으로써 k에 관계없이 최적의 복잡도를 확보한다.
• 색상 기반 샘플링 기법을 구현하여 라운드 2에서 처리하는 2-경로의 수를 p^{k-2} 배 줄여, 단순 샘플링 대비 효율성과 정확도를 향상시킨다.
• 재귀적 워크로드 분배 전략을 도입하여, 큰 고차수 이웃에 대한 클리크 세기 계산을 연기함으로써 전반적인 공간을 희생하여 국소 계산 시간을 감소시킨다.
• MapReduce 추상화를 활용하여 장애 내성, 로드 밸런싱, 데이터 셔플링를 자동으로 처리함으로써 알고리즘 설계에 집중할 수 있도록 한다.
• 확률 이론의 농도 경계를 적용하여 샘플링 추정기가 높은 확률로 정확함을 증명하고, k=3일 경우 이전 연구보다 더 약한 조건으로도 보장할 수 있음을 보였다.

실험 결과

연구 질문

• RQ1 k에 독립적인 통신 비용과 최적의 워크 복잡도를 달성하면서 확장 가능하고 정확한 MapReduce 알고리즘을 k-클리크 세기 문제에 적용할 수 있는가?
• RQ2 실행 시간과 공간 사용량을 극적으로 줄이면서도 정확도 손실을 최소화할 수 있도록 샘플링을 효과적으로 활용할 수 있는가?
• RQ3 다양한 실세계 그래프와 k 값에서 정확한 알고리즘과 근사 알고리즘 간의 성능 트레이드오프는 어떠한가?
• RQ4 샘플링 기반 추정기의 정확도와 스피드업 성능은 k가 증가함에 따라 어떻게 변화하며, 다양한 샘플링 확률에 따라 어떻게 영향을 받는가?
• RQ5 작소형 클러스터에서 대규모 그래프에 대해 성능 저하 없이 얼마나 잘 확장될 수 있는가?

주요 결과

• 정확한 k-클리크 세기 알고리즘은 O(m^{k/2})의 워크 복잡도와 O(m^{3/2})의 총 공간 복잡도를 달성하며, 삼각형 세기 문제(k=3)의 최고 성능 기준과 일치하고, 모든 k에 대해 워크 최적임을 입증하였다.
• 통신 비용은 k와 무관하게 항상 O(m^{3/2})를 유지하며, 이는 이전의 다중 방식 조인 접근 방식과는 달리 더 큰 k에 대해 더 확장 가능함을 의미한다.
• 색상 기반 샘플링 추정기는 socLiveJ1 그래프에서 k=6일 때 실행 시간을 최대 24배까지 줄였고, 추정 오차는 단지 0.61%에 그쳤다.
• k=3일 경우, Pagh와 Tsourakakis의 이전 삼각형 세기 방법보다 더 약한 확률 조건을 요구하여 이론적 보장을 향상시켰다.
• egoGplus와 orkut와 같은 실세계 그래프에서 k=7까지도 알고리즘이 유연하게 확장되었으며, 근사 방법 덕분에 정확한 계산이 수 시간이 걸리는 문제를 몇 분 내로 추정할 수 있었다.
• 실험 결과에 따르면 실세계 사회망에서 k가 증가할수록 k-클리크의 수가 급격히 증가하므로, 실용적인 분석을 위해서는 효율적인 근사 기법이 필수적임을 확인하였다.