[논문 리뷰] Connected Components at Scale via Local Contractions

Jakub Łącki, Vahab Mirrokni외 1명|arXiv (Cornell University)|2018. 07. 27.

Graph Theory and Algorithms참고 문헌 28인용 수 12

한 줄 요약

이 논문은 대규모 그래프에서 연결된 성분을 계산하기 위한 확장 가능한 분산 알고리즘인 LocalContraction을 소개한다. 로컬 엣지 수축을 사용하여, 무작위 그래프에서 이론적으로는 높은 확률로 O(log log n) 라운드 복잡도를 달성하며, 기존의 표준 O(log n) 경계보다 훨씬 빠르다. 동시에 실용적인 효율성도 유지하여, 트리리온 엣지를 가진 그래프에서 최신의 MapReduce 알고리즘을 초월한다.

ABSTRACT

As a fundamental tool in hierarchical graph clustering, computing connected components has been a central problem in large-scale data mining. While many known algorithms have been developed for this problem, they are either not scalable in practice or lack strong theoretical guarantees on the parallel running time, that is, the number of communication rounds. So far, the best proven guarantee is $\Oh(\log n)$, which matches the running time in the PRAM model. In this paper, we aim to design a distributed algorithm for this problem that works well in theory and practice. In particular, we present a simple algorithm based on contractions and provide a scalable implementation of it in MapReduce. On the theoretical side, in addition to showing $\Oh(\log n)$ convergence for all graphs, we prove an $\Oh(\log \log n)$ parallel running time with high probability for a certain class of random graphs. We work in the MPC model that captures popular parallel computing frameworks, such as MapReduce, Hadoop or Spark. On the practical side, we show that our algorithm outperforms the state-of-the-art MapReduce algorithms. To confirm its scalability, we report empirical results on graphs with several trillions of edges.

연구 동기 및 목표

• MPC 모델에서 강력한 이론적 보장을 갖추면서도 실용적인 확장성을 확보하는 연결된 성분을 위한 분산 알고리즘을 설계한다.
• 기존 알고리즘의 경험적 성공을 설명한다. 이는 이론적 O(log n) 경계에 비해 실제로 몇 라운드 내에 실행되는 경향이 있지만, 그 이유를 밝힌다.
• 무작위 그래프에서 하위로그라리즘 라운드 복잡도를 달성하면서도, 낮은 통신량과 적절한 로드 밸런싱을 유지한다.
• 트리리온 엣지를 가진 그래프에서 알고리즘을 구현하고 평가하여 실제 세계의 확장성 임계점을 입증한다.

제안 방법

• 알고리즘은 로컬 엣지 수축을 사용하여 그래프 크기를 반복적으로 감소시키며, 정점 우선순위에 따라 엣지를 수축하여 슈퍼노드를 형성한다.
• 각 단계에서는 동일한 우선순위를 가진 정점 간의 엣지를 수축하여 정점 수와 엣지 수를 줄이되, 연결된 성분을 유지한다.
• 핵심 최적화로는 소규모로 수축된 그래프를 하나의 머신으로 전송하여 유니온-파인드를 사용해 최종 처리함으로써 통신 오버헤드를 줄인다.
• 알고리즘은 MPC 모델을 활용하여 MapReduce 유사 프레임워크를 추상화함으로써, 낮은 통신 복잡도와 양호한 로드 밸런싱을 보장한다.
• 이론적 분석을 통해 모든 그래프에 대해 O(log n) 수렴이 가능하고, 특정 조건 하에 무작위 그래프에서 O(log log n) 수렴이 높은 확률로 보장된다.
• 경험적 평가에서는 Large-scale 데이터셋에서 LocalContraction을 Cracker, Two-Phase, Hash-To-Min, TreeContraction과 비교하였다.

실험 결과

연구 질문

• RQ1 단순한 수축 기반 알고리즘이 무작위 그래프에서 하위로그라리즘 라운드 복잡도를 달성하면서도 실용적인 효율성을 유지할 수 있는가?
• RQ2 실제로는 이론적 O(log n) 경계보다 훨씬 우수한 성능을 보이는 알고리즘들(예: Hash-To-Min)은 왜 그렇게 되는가?
• RQ3 강력한 이론적 보장과 함께 대규모 그래프에서 뛰어난 경험적 성능을 보이는 분산 알고리즘을 설계할 수 있는가?
• RQ4 실제로 통신 복잡도는 얼마이며, 이론적 상한 O(m log n)에 비해 여전히 O(m) 수준을 유지하는가?

주요 결과

• LocalContraction은 무작위 그래프에서 높은 확률로 O(log log n) 라운드 복잡도를 달성하며, 기존의 표준 O(log n) 경계보다 크게 향상된다.
• Friendster 및 웹페이지와 같은 대규모 그래프에서 최신의 MapReduce 알고리즘보다 최대 20배 빠르게 성능을 발휘한다.
• 8540억 개의 정점과 6.5조 개의 엣지를 가진 그래프에서 LocalContraction은 계산을 성공적으로 완료하여 연결된 성분 계산의 새로운 스케일 기록을 수립했다.
• 각 단계에서 엣지 수가 최소 10배 이상 감소함을 확인하여, 실질적으로 빠른 수렴과 낮은 통신 오버헤드를 입증했다.
• 이론적 통신 복잡도는 O(m log n)이지만, 경험적 결과에서는 실제 세계의 그래프에서 통신량이 O(m) 수준을 유지함을 확인했다.
• 모든 테스트 데이터셋에서 알고리즘은 오직 2~5단계만을 소비하였으며, Friendster와 Orkut는 단 2단계만에 완료되어 강력한 확장성을 입증했다.