[논문 리뷰] Almost Optimal Distributed Algorithms for Large-Scale Graph Problems.

Gopal Pandurangan, Peter Robinson외 1명|arXiv (Cornell University)|2015. 03. 09.

Complexity and Algorithms in Graphs참고 문헌 29인용 수 3

한 줄 요약

이 논문은 k-머신 모델에서 그래프 연결성 문제에 대해 거의 최적의 랜덤화 분산 알고리즘을 제안하며, 선형 그래프 스케치 및 기타 기법을 사용해 $\tilde{O}(n/k^2)$ 라운드의 런타임을 달성한다. 이 방법은 이전의 경계를 향상시키며, 다항로그 인자까지 최적임을 보이며, 최소 스패닝 트리, 최소 컷, 그래프 검증 문제 등으로의 확장도 $\tilde{O}(n/k^2)$ 라운드 내에서 수행된다.

ABSTRACT

Motivated by the increasing need to understand the algorithmic foundations of distributed large-scale graph computations, we study a number of fundamental graph problems in a message-passing model for distributed computing where $k \geq 2$ machines jointly perform computations on graphs with $n$ nodes (typically, $n \gg k$). The graph is assumed to be randomly partitioned among the $k$ machines, a common implementation in many real-world systems. The communication is point-to-point, and the goal is to minimize the time complexity, i.e., the number of communication rounds of the computation. Our main result is an (almost) optimal distributed randomized algorithm for graph connectivity. Our algorithm runs in $ ilde{O}(n/k^2)$ rounds ($ ilde{O}$ notation hides a $ ext{polylog}(n)$ factor and an additive $ ext{polylog}(n)$ term). This improves over the best previously known bound of $ ilde{O}(n/k)$ [Klauck et al., SODA 2015], and is optimal (up to a polylogarithmic factor) in view of the existing lower bound of $ ilde{\Omega}(n/k^2)$. Our improved algorithm uses a bunch of techniques, including linear graph sketching, which for the first time is applied in a non-trivial way in distributed computing. We then present fast randomized algorithms for computing minimum spanning trees, (approximate) min-cuts, and for many graph verification problems. All these algorithms take $ ilde{O}(n/k^2)$ rounds, and are optimal up to polylogarithmic factors. We also show an almost matching lower bound of $ ilde{\Omega}(n/k^2)$ for many graph verification problems.

연구 동기 및 목표

• 다양한 머신 간 대규모 그래프 계산에서 효율적인 분산 알고리즘이 필요한 증가하는 요구에 부응하기 위해.
• 그래프가 k대의 머신에 무작위로 분할되는 메시지 전달 모델에서 라운드 수를 최소화하기 위해.
• 연결성, MST, 최소 컷, 검증과 같은 기본 그래프 문제들에 대해 거의 최적의 시간 복잡도를 달성하기 위해.
• k-머신 모델에서 분산 그래프 문제의 엄밀한 상한과 하한을 설정하기 위해.

제안 방법

• 분산 계산에서 비트리비얼한 방식으로 선형 그래프 스케칭을 처음으로 도입하여 효율적인 통신을 가능하게 하였다.
• 스케칭과 분산 집계를 활용해 그래프 연결성 문제에 대해 $\tilde{O}(n/k^2)$ 라운드를 달성하는 랜덤화 알고리즘을 설계하였다.
• 스케칭 기반 접근법을 확장하여 최소 스패닝 트리 및 근사 최소 컷 문제를 동일한 라운드 복잡도 내에서 해결하였다.
• 랜덤화된 검증 기법을 사용해 $\tilde{O}(n/k^2)$ 라운드 내에서 그래프 성질을 효율적으로 검증하였다.
• 감소 및 하한 기법을 적용하여 $\tilde{\Omega}(n/k^2)$ 가 많은 검증 문제에 대해 거의 매칭되는 하한임을 보였다.

실험 결과

연구 질문

• RQ1 무작위 그래프 분할이 이루어지는 k-머신 분산 모델에서 그래프 연결성 문제를 $\tilde{O}(n/k^2)$ 라운드 내에서 해결할 수 있는가?
• RQ2 기존의 $\tilde{O}(n/k)$ 경계를 크게 향상시키는 데 기여한 기법은 무엇인가?
• RQ3 선형 그래프 스케칭을 얼마나 널리 활용해 그래프 문제에 대한 효율적인 분산 알고리즘을 설계할 수 있는가?
• RQ4 MST, 최소 컷, 그래프 검증 문제의 라운드 복잡도가 다항로그 인자까지 최적인지 여부는 무엇인가?

주요 결과

• 제안된 그래프 연결성 알고리즘은 $\tilde{O}(n/k^2)$ 라운드 내에서 수행되며, 이전의 $\tilde{O}(n/k)$ 경계를 향상시켰다.
• 알고리즘은 다항로그 인자까지 최적이며, 기존의 $\tilde{\Omega}(n/k^2)$ 하한과 일치한다.
• 최소 스패닝 트리 및 근사 최소 컷 문제는 동일한 스케칭 기반 접근법을 사용해 $\tilde{O}(n/k^2)$ 라운드 내에서 해결되었다.
• 연결성 및 컷 검증을 포함한 그래프 검증 문제들이 최소 $\tilde{\Omega}(n/k^2)$ 라운드를 요구함을 입증하여, 거의 날것 같은 경계를 확립하였다.