[논문 리뷰] Breaking the Linear-Memory Barrier in MPC: Fast MIS on Trees with Strongly Sublinear Memory

Sebastian Brandt, Manuela Fischer외 1명|arXiv (Cornell University)|2018. 02. 19.

Complexity and Algorithms in Graphs참고 문헌 37인용 수 8

한 줄 요약

이 논문은 나무에서 최대 독립 집합(MIS)을 계산하기 위한 새로운 저메모리 다수병렬처리(MPC) 알고리즘을 제안하며, 각 머신당 n^ε 메모리만을 사용함으로써 상당히 비선형적인 메모리 사용을 달성하고, MPC에서 오랫동안 지속된 선형메모리 장벽을 뛰어넘었다. 이 알고리즘은 계층적 트리 루팅 기법과 동적 예산 배정, 전지역 통신을 활용하여 기존의 LOCAL 및 PRAM 모델에 비해 지수적 성능 향상을 이룬다.

ABSTRACT

Recently, studying fundamental graph problems in the \emph{Massively Parallel Computation (MPC) framework, inspired by the MapReduce paradigm, has gained a lot of attention. An assumption common to a vast majority of approaches is to allow $\widetildeΩ(n)$ memory per machine, where $n$ is the number of nodes in the graph and $\widetildeΩ$ hides polylogarithmic factors. However, as pointed out by Karloff et al. [SODA'10] and Czumaj et al. [STOC'18], it might be unrealistic for a single machine to have linear or only slightly sublinear memory. In this paper, we thus study a more practical variant of the MPC model which only requires substantially sublinear or even subpolynomial memory per machine. In contrast to the linear-memory MPC model and also to streaming algorithms, in this low-memory MPC setting, a single machine will only see a small number of nodes in the graph. We introduce a new and strikingly simple technique to cope with this imposed locality. In particular, we show that the Maximal Independent Set (MIS) problem can be solved efficiently, that is, in $O(\log^3 \log n)$ rounds, when the input graph is a tree. This constitutes an almost exponential speed-up over the low-memory MPC algorithm in $O(\sqrt{\log n})$-algorithm in a concurrent work by Ghaffari and Uitto [SODA'19] and substantially reduces the local memory from $\widetildeΩ(n)$ required by the recent $O(\log \log n)$-round MIS algorithm of Ghaffari et al. [PODC'18] to $n^α$ for any $α>0$, without incurring a significant loss in the round complexity. Moreover, it demonstrates how to make use of the all-to-all communication in the MPC model to almost exponentially improve on the corresponding bound in the $\mathsf{LOCAL}$ and $\mathsf{PRAM}$ models by Lenzen and Wattenhofer [PODC'11].

연구 동기 및 목표

• 대규모 그래프 처리를 위한 표준 MPC 모델에서 머신당 Ω(n) 메모리가 요구되는 것이 비현실적임을 해결하기 위해.
• MIS와 같은 기본 그래프 문제들이 머신당 강력한 비선형 메모리 제약 하에서도 효율적으로 해결될 수 있는지 탐색하기 위해.
• MPC 모델의 전지역 통신 기능을 활용하여 전통적인 모델인 LOCAL 및 PRAM에 비해 지수적 속도 향상을 이룰 수 있음을 보여주기 위해.
• 비선형 메모리(n^ε)가 나무에서 빠른 MIS 계산을 위해 충분함을 보여줌으로써, 저메모리 MPC에 대한 새로운 이론적 기반을 구축하기 위해.

제안 방법

• 모든 ε > 0에 대해 각 머신이 오직 n^ε 메모리만을 가진 새로운 저메모리 MPC 모델을 도입하여 실용적인 확장성을 가능하게 한다.
• 메모리 제약을 유지하기 위해 단계별로 간선 추가 예산을 동적으로 조정하는 계층적 트리 루팅 알고리즘을 설계한다.
• B_{i+1} = B_i · n_i / n_{i+1}의 예산 배정 메커니즘을 적용하여, 각 단계당 총 간선 추가 수가 n·d³ 이내로 유지되도록 보장한다.
• 전지역 통신을 활용해 네트워크 전역으로 정보를 효율적으로 전파함으로써, 국소적 시야가 제한된 상황에서도 빠른 수렴을 달성한다.
• 루트 색상 기반의 마킹 절차를 적용하여 트리 루팅 이후 연결 요소를 식별한다.
• 중복 간선 메시지를 처리하기 위해 셔플링 메커니즘을 활용하여 통신 과정에서 메모리 제약을 위반하지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 MPC 모델에서 머신당 비선형 메모리로 최대 독립 집합(MIS) 문제를 해결할 수 있는가?
• RQ2 강력한 비선형 메모리 제약 하에서 나무에서 MIS에 대해 근사적으로 상수 라운드 복잡도를 달성할 수 있는가?
• RQ3 MPC의 전지역 통신은 저메모리 환경에서 국소 계산의 한계를 극복하는 데 어떻게 활용될 수 있는가?
• RQ4 MPC에서 선형메모리 장벽을 뛰어넘는 것이 기본 그래프 문제를 효율적으로 해결하는 데 새로운 가능성을 열어주는가?

주요 결과

• 논문은 각 머신당 n^ε 메모리만을 사용함으로써 나무에서 MIS에 대해 O(log³log n)의 라운드 복잡도를 달성하였으며, 이는 이전의 저메모리 MPC 알고리즘에 비해 거의 지수적 향상을 이룬다.
• 알고리즘은 로컬 메모리 요구량을 Ω(n)에서 임의의 ε > 0에 대해 n^ε로 줄였으며, 동시에 라운드 복잡도에 영향을 주지 않았다.
• 이 접근법은 MPC의 전지역 통신이 LOCAL 및 PRAM 모델(각각 Ω(log log n)라운드 필요)에 비해 지수적 속도 향상을 이룰 수 있음을 보여주었다.
• 동적으로 추가된 가상 간선으로 인한 메모리 오버헤드는 제한되어 있으며, 총 간선 수가 O(n·d³) 이내로 유지되어 n^ε 제약을 위반하지 않는다.
• 각 연결 요소에 동일한 트리 루팅 및 색상 부여 기법을 적용함으로써 이 방법은 산림(forests)으로 일반화된다.
• 이 프레임워크는 저메모리 MPC 제약 하에서 다른 기본 그래프 문제—예를 들어 최대 매칭 및 (Δ+1)-색칠—을 해결하기 위한 새로운 연구 방향을 열어준다.