[논문 리뷰] Clique Counting in MapReduce: Algorithms and Experiments

Irene Finocchi, Marco Finocchi외 1명|arXiv (Cornell University)|2015. 10. 13.

Complex Network Analysis Techniques참고 문헌 38인용 수 29

한 줄 요약

이 논문은 대규모 그래프에서 k-클리크를 세는 데 있어 처음으로 정확하고 확장 가능한 MapReduce 알고리즘을 제안하며, k에 독립적인 최적의 작업 복잡도와 통신 비용을 달성한다. 또한 런타임과 메모리 사용을 크게 줄이는 고정확도 샘플링 기반 추정기법을 도입하여, 클리크 수가 급격히 증가하는 그래프에서는 정확한 방법을 능가한다.

ABSTRACT

We tackle the problem of counting the number qk of k-cliques in large-scale graphs, for any constant k ≥ 3. Clique counting is essential in a variety of applications, including social network analysis. Our algorithms make it possible to compute qk for several real-world graphs and shed light on its growth rate as a function of k. Even for small values of k, the number qk of k-cliques can be in the order of tens or hundreds of trillions. As k increases, different graph instances show different behaviors: while on some graphs qk+1 < qk, on other benchmarks qk+1 qk, up to two orders of magnitude in our observations. Graphs with steep clique growth rates represent particularly tough instances in practice. Due to the computationally intensive nature of the clique counting problem, we settle for parallel solutions in the MapReduce framework, which has become in the last few years a de facto standard for batch processing of massive datasets. We give both theoretical and experimental contributions. On the theory side, we design the first exact scalable algorithm for counting (and listing) k-cliques in MapReduce. Our algorithm uses O(m3/2) total space and O(mk/2) work, where m is the number of graph edges. This matches the best-known bounds for triangle listing when k = 3 and is work optimal in the worst case for any k, while keeping the communication cost independent of k. We also design sampling-based estimators that can dramatically reduce the running time and space requirements of the exact approach, while providing very accurate solutions with high probability. We then assess the effectiveness of different clique counting approaches through an extensive experimental analysis over the Amazon EC2 platform, considering both our algorithms and their state-of-the-art competitors. The experimental results clearly highlight the algorithm of choice in different scenarios and prove our exact approach to be the most effective when the number of k-cliques is large, gracefully scaling to nontrivial values of k even on clusters of small/medium size. Our approximation algorithms achieve extremely accurate estimates and large speedups, especially on the toughest instances for the exact algorithms

연구 동기 및 목표

• 사회적 네트워크 분석과 그래프 마이닝에서 핵심적인 과제인 대규모 그래프에서의 k-클리크 수를 세는 도전 과제를 해결한다.
• MapReduce 프레임워크에서 최적의 작업 및 통신 복잡도를 확보하면서도 확장 가능하고 정확한 k-클리크 세기 알고리즘을 설계한다.
• 시간과 공간 요구 사항을 크게 줄이며 높은 정확도를 유지하는 샘플링 기반 추정기법을 개발한다.
• 다양한 실제 그래프에서 정확한 및 근사적 방법의 성능을 평가하여, 다양한 그래프 특성에 최적의 전략을 파악한다.
• 특히 클리크 수가 급격히 증가하는 그래프에서 k가 증가함에 따라 k-클리크 수의 증가 양상을 이해한다.

제안 방법

• 삼각형 목록화(예: k=3)의 최고 성능 기준과 동일한 O(m^3/2) 총 메모리 사용과 O(m^k/2) 작업 복잡도를 달성하는 MapReduce 기반 알고리즘을 설계하며, 임의의 k에 대해 작업 복잡도 최적화를 달성한다.
• 알고리즘을 구성하여 통신 비용이 k에 독립적이게 하여, 더 큰 k 값에 대해서도 확장 가능성을 확보한다.
• 계산 오버헤드를 줄이면서도 고확률로 높은 정확도를 유지하는 샘플링 기반 추정기법을 도입한다.
• MapReduce 추상화를 활용하여 클러스터에 걸쳐 계산을 분산 처리함으로써, 수십조에서 수백조 개의 k-클리크를 처리할 수 있도록 한다.
• Amazon EC2에서 정확한 및 근사 알고리즘을 구현하고, 다양한 그래프 워크로드에서 최신 기술과의 비교를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 작업 복잡도와 통신 복잡도가 최적화된 상태에서 MapReduce 모델에서 k-클리크 세기 알고리즘을 어떻게 확장 가능하고 정확하게 만들 수 있는가?
• RQ2 다양한 실제 그래프에서 k-클리크의 증가율은 어떻게 변화하는가? 이는 알고리즘 성능에 어떤 영향을 미치는가?
• RQ3 샘플링 기반 추정기법은 k-클리크 세기에서 런타임과 메모리 사용을 얼마나 줄일 수 있으며, 동시에 높은 정확도를 유지할 수 있는가?
• RQ4 다양한 그래프 워크로드와 클러스터 크기에서 제안된 정확한 및 근사 알고리즘이 실제로 어떻게 비교되는가?
• RQ5 정확한 세기 계산이 계산적으로 불가능해지는 급격한 클리크 증가율을 보이는 그래프에서는 어떤 알고리즘이 가장 효과적인가?

주요 결과

• 제안된 정확한 MapReduce 알고리즘은 최적의 작업 복잡도 O(m^k/2)를 달성하며, k에 독립적인 통신 비용을 유지하여 큰 k에 대해서도 확장 가능하다.
• qk+1가 qk보다 최대 두 배수 정도 더 큰 급격한 클리크 증가율을 보이는 그래프에서는, 소규모에서 중간 규모 클러스터에서도 정확한 알고리즘이 유연하게 확장된다.
• 샘플링 기반 추정기법은 특히 정확한 알고리즘의 가장 도전적인 사례에서 매우 정확한 추정을 제공하며, 높은 성능 향상을 이룬다.
• 실험 결과 정확한 알고리즘이 k-클리크 수가 많을 경우, 특히 k ≥ 4일 때 최신 기술보다 뛰어난 성능을 보였다.
• 연구 결과 다양한 그래프에서 클리크 증가 양상이 다름을 확인하였으며, 일부 그래프는 qk+1 < qk를 보이고 다른 그래프는 qk+1 ≫ qk를 보이며, 이는 알고리즘 선택의 적응성 필요성을 강조한다.