[논문 리뷰] Round Compression for Parallel Graph Algorithms in Strongly Sublinear Space

Krzysztof Onak|arXiv (Cornell University)|2018. 07. 23.

Complexity and Algorithms in Graphs참고 문헌 25인용 수 17

한 줄 요약

이 논문은 임의의 그래프에서 큰 매칭 또는 작은 정점 커버를 계산하는 데 있어, 머신당 O(n^δ) 공간을 사용하면서 Õ(√log n) 라운드 내에 수행하는 최초의 MPC 알고리즘을 제안한다. 이는 오랫동안 지속된 로그 라운드 장벽을 깨뜨린다. 이는 저도수 부분그래프를 활용하여 페링 알고리즘의 다수 라운드를 적은 라운드 수로 압축하고, 국소적 지수적 속도 향상 기법을 적용함으로써 달성된다. 이는 강력한 부분선형 공간 환경에서 더 빠른 수렴을 가능하게 한다.

ABSTRACT

The Massive Parallel Computation (MPC) model is a theoretical framework for popular parallel and distributed platforms such as MapReduce, Hadoop, or Spark. We consider the task of computing a large matching or small vertex cover in this model when the space per machine is $n^δ$ for $δ\in (0,1)$, where $n$ is the number of vertices in the input graph. A direct simulation of classic PRAM and distributed algorithms from the 1980s results in algorithms that require at least a logarithmic number of MPC rounds. We give the first algorithm that breaks this logarithmic barrier and runs in $ ilde O(\sqrt{\log n})$ rounds, as long as the total space is at least slightly superlinear in the number of vertices. The result is obtained by repeatedly compressing several rounds of a natural peeling algorithm to a logarithmically smaller number of MPC rounds. Each time we show that it suffices to consider a low-degree subgraph, in which local neighborhoods can be explored with exponential speedup. Our techniques are relatively simple and can also be used to accelerate the simulation of distributed algorithms for bounded-degree graphs and finding a maximal independent set in bounded-arboricity graphs.

연구 동기 및 목표

• 머신당 공간이 부분선형일 때(즉, O(n^δ) for δ ∈ (0,1)) MPC 모델에서 오랜 기간 동안 지속된 로그 라운드 복잡도 장벽을 극복하기 위함.
• 강력한 부분선형 공간 제약 조건 하에서 임의의 그래프에서 최대 매칭과 최소 정점 커버를 빠르게 근사화하는 알고리즘을 설계하기 위함.
• 데이터가 단일 머신에 들어가기에 너무 클 경우 실질적인 분산 시스템에서 효율적인 계산을 가능하게 하기 위해, 막대한 병렬성과 공간 효율성을 활용하기 위함.
• 저도수 부분그래프에서 국소적 이웃 탐색을 통한 라운드 압축이 MPC의 총 라운드 수를 크게 줄일 수 있음을 보여주기 위함.

제안 방법

• 다수의 페링 알고리즘 라운드를 로그적으로 줄은 수의 MPC 라운드 내에서 시뮬레이션할 수 있는 라운드 압축 기법을 제안한다.
• 국소적 이웃 탐색이 지수적 속도 향상으로 가능해지는 저도수 부분그래프에 집중하여, 통신 및 계산 오버헤드를 줄인다.
• 반복적으로 낮은 차수의 정점을 제거하는 재귀적 페링 과정을 사용하며, 이 과정에서 유한한 아보리시티 구조를 유지함으로써 효율적인 시뮬레이션을 가능하게 한다.
• 무작위 레이블링과 Ghaffari의 MIS 알고리즘의 시뮬레이션을 유도 부분그래프에 적용하여, 각 반복에서 O(log Δ) 라운드 내에 최대 독립 집합을 계산한다.
• 메시지 배포 및 국소 계산을 관리하기 위해 O(1) MPC 라운드 내에서 정렬 및 접두사 합 원시 연산을 활용한다.
• Panconesi와 Srinivasan의 분해 기법을 적용하여 국소 공간 사용량을 제한하고, 머신당 O(n^δ) 공간 내에서 실행 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 머신당 공간이 부분선형인 경우 MPC 모델에서 고전적인 PRAM 및 분산 알고리즘의 라운드 복잡도를 향상시킬 수 있는가?
• RQ2 머신당 O(n^δ) 공간을 사용할 때 MPC 모델에서 매칭 및 정점 커버와 같은 기본적인 그래프 문제에 대해 강력한 부분상용 라운드 복잡도를 달성할 수 있는가?
• RQ3 라운드 압축 기법을 사용하여 알고리즘의 다수 라운드를 더 적은 MPC 라운드 수로 시뮬레이션할 수 있는가, 동시에 정확성과 효율성을 유지할 수 있는가?
• RQ4 저도수 부분그래프에서 국소적 이웃 탐색을 어떻게 가속화할 수 있을까? 이를 통해 총 MPC 라운드 수를 줄일 수 있는가?

주요 결과

• 논문은 임의의 그래프에서 최대 매칭과 최소 정점 커버를 근사화하는 데 있어 머신당 O(n^δ) 공간을 사용하면서 Õ(√log n) 라운드 알고리즘을 달성한다.
• 이 알고리즘은 이전에 고전적인 PRAM 및 분산 알고리즘의 시뮬레이션에 Ω(log n) 라운드가 필요로 했던 로그 라운드 장벽을 깨뜨린다.
• 핵심 혁신은 반복적 페링과 저도수 부분그래프에서의 국소적 속도 향상을 통한 라운드 압축으로, 이는 총 라운드 수를 지수적으로 감소시킨다.
• 이 방법은 임의의 그래프에 대해 작동하며 略초선형 총 공간을 사용하는 환경에서 작동하므로, 소셜 네트워크와 같은 대규모 희소 그래프에 실용적이다.
• 이 접근법은 최대 독립 집합 문제 등 다른 문제들로 일반화 가능하며, 유사한 라운드 복잡도 향상을 달성한다.
• 알고리즘은 고확률(1 - O(log n / n))로 Õ(√log n) 라운드 내에서 실행되며, 오류 확률이 극히 낮게 유지되어 정확성이 보장된다.