[논문 리뷰] Tight Bounds for Distributed Graph Computations.

Gopal Pandurangan, Peter Robinson외 1명|arXiv (Cornell University)|2016. 02. 26.

Complexity and Algorithms in Graphs참고 문헌 67인용 수 10

한 줄 요약

이 논문은 정보이론적 접근을 사용하여 k-기계 모델에서 분산 그래프 계산의 라운드 복잡도에 대해 거의 날카로운 하한을 확립한다. PageRank 계산에 대해 $ ilde{O}(n/k^2)$ 라운드, 삼각형 수세기 문제에 대해 $ ilde{O}(m/k^{5/3})$ 라운드의 최적 알고리즘을 제시하며, 이는 하한과 일치하며 대규모 그래프에서 거의 최적의 통신 효율성을 보여준다.

ABSTRACT

Motivated by the need to understand the algorithmic foundations of distributed large-scale graph computations, we study some fundamental graph problems in a message-passing model for distributed computing where $k \geq 2$ machines jointly perform computations on graphs with $n$ nodes (typically, $n \gg k$). The input graph is assumed to be initially randomly partitioned among the $k$ machines. Communication is point-to-point, and the goal is to minimize the number of communication rounds of the computation. We present (almost) tight bounds for the round complexity of two fundamental graph problems, namely PageRank computation and triangle enumeration. Our tight lower bounds, a main contribution of the paper, are established through an information-theoretic approach that relates the round complexity to the minimal amount of information required by machines for correctly solving a problem. Our approach is generic and might be useful in showing lower bounds in the context of similar problems and similar models. We show a lower bound of $ ilde{\Omega}(n/k^2)$ rounds for computing the PageRank. (Notation $ ilde \Omega$ hides a ${1}/{ ext{polylog}(n)}$ factor.) We also present a simple distributed algorithm that computes the PageRank of all the nodes of a graph in $ ilde{O}(n/k^2)$ rounds (notation $ ilde O$ hides a $ ext{polylog}(n)$ factor and an additive $ ext{polylog}(n)$ term). For triangle enumeration, we show a lower bound of $ ilde{\Omega}(m/k^{5/3})$ rounds, where $m$ is the number of edges of the graph. Our result implies a lower bound of $ ilde\Omega(n^{1/3})$ for the congested clique, which is tight up to logarithmic factors. We also present a distributed algorithm that enumerates all the triangles of a graph in $ ilde{O}(m/k^{5/3})$ rounds.

연구 동기 및 목표

• k-기계 메시지 전달 모델에서 분산 대규모 그래프 처리의 알고리즘 기초를 이해하기 위해.
• 기본적인 그래프 문제에 대해 필요한 소통 라운드 수에 대한 날카로운 하한을 확립하기 위해.
• 이 하한과 거의 일치하는 효율적인 분산 알고리즘을 설계하기 위해 PageRank와 삼각형 수세기 문제를 위해.
• 유사한 문제와 모델에 적용 가능한 일반적인 정보이론적 프레임워크를 개발하기 위해.

제안 방법

• 소통 라운드 복잡도가 정확한 계산을 위해 필요한 최소 정보량과 관련이 있음을 분석하기 위해 정보이론적 접근을 사용한다.
• 기계들이 그래프 문제를 정확히 해결하기 위해 필요한 정보의 양을 분석함으로써 하한을 도출한다.
• 효율적인 로드 밸런싱을 통해 통신을 최소화하면서, 점진적인 점수 전파 방식을 사용하여 PageRank에 대한 분산 알고리즘을 설계한다.
• 삼각형 수세기의 경우, 교차 기계 통신을 최소화하면서 삼각형을 탐지하고 보고하기 위한 조율 메커니즘을 사용한다.
• 입력 그래프가 k대의 기계에 랜덤으로 분할되고, 점대점 통신의 제약 조건을 고려한 분석을 수행한다.
• $\tilde{O}$ 및 $\tilde{\Omega}$ 표기법을 사용하여 다항로그 요소를 포괄하며, 주로 지배적인 점근적 행동에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 분산 k-기계 시스템에서 PageRank를 계산하기 위해 필요한 최소 소통 라운드 수는 얼마인가?
• RQ2 분산 그래프 계산 모델에서 삼각형 수세기 문제의 라운드 복잡도 하한은 무엇인가?
• RQ3 이러한 문제들의 하한을 효율적인 분산 알고리즘이 거의 따라올 수 있는가?
• RQ4 정보이론적 접근은 어떻게 분산 그래프 계산에서 날카로운 하한을 가능하게 하는가?
• RQ5 일반적인 하한에 따라, 혼잡한 클리크 모델에서 삼각형 수세기의 라운드 복잡도는 얼마인가?

주요 결과

• 논문은 PageRank 계산에 대해 $ ilde{\Omega}(n/k^2)$ 라운드의 하한을 확립하였으며, 이는 거의 날카로운 것이다.
• PageRank를 $ ilde{O}(n/k^2)$ 라운드 내에서 계산하는 알고리즘이 제시되었으며, 하한과 다항로그 요소를 제외하고 일치한다.
• 삼각형 수세기 문제에 대해 $ ilde{\Omega}(m/k^{5/3})$ 라운드의 하한이 증명되었으며, 여기서 m은 간선 수이다.
• 동일한 알고리즘이 삼각형 수세기 문제에 대해 $ ilde{O}(m/k^{5/3})$ 라운드를 달성하여 점근적으로 하한과 일치한다.
• 결과적으로 혼잡한 클리크 모델에서 삼각형 수세기 문제에 대해 $ ilde{\Omega}(n^{1/3})$ 라운드의 하한이 유도되며, 이는 로그 요소를 제외하고 날카로운 것이다.
• 제안된 정보이론적 프레임워크는 일반적이며, 다른 분산 그래프 문제에 대한 하한을 유도하는 데 적용될 수 있다.