[논문 리뷰] Lessons from the Congested Clique Applied to MapReduce

James W. Hegeman, Sriram V. Pemmaraju|arXiv (Cornell University)|2014. 05. 17.

Complexity and Algorithms in Graphs참고 문헌 11인용 수 13

한 줄 요약

이 논문은 컨게스티드 클라이언트 모델에서의 알고리즘을 등가의 MapReduce 알고리즘으로 변환하는 일반적인 시뮬레이션 프레임워크를 제시한다. 이는 컨게스티드 클라이언트 모델에서 O(1) 라운드 내에 실행되는 O(Δ)-색칠 알고리즘이 MapReduce 모델에서도 O(1) 라운드 내에 효율적으로 시뮬레이션될 수 있음을 보여준다. 주요 기여는 컨게스티드 클라이언트 모델의 각 노드 대역폭과 MapReduce 모델의 각 머신 메모리 간의 관계를 연결하는 새로운 시뮬레이션 정리로, 이는 하위선형 메모리로도 그래프 색칠 문제에 대해 상수 라운드 솔루션을 가능하게 한다.

ABSTRACT

The main results of this paper are (I) a simulation algorithm which, under quite general constraints, transforms algorithms running on the Congested Clique into algorithms running in the MapReduce model, and (II) a distributed $O(Δ)$-coloring algorithm running on the Congested Clique which has an expected running time of (i) $O(1)$ rounds, if $Δ\geq Θ(\log^4 n)$; and (ii) $O(\log \log n)$ rounds otherwise. Applying the simulation theorem to the Congested-Clique $O(Δ)$-coloring algorithm yields an $O(1)$-round $O(Δ)$-coloring algorithm in the MapReduce model. Our simulation algorithm illustrates a natural correspondence between per-node bandwidth in the Congested Clique model and memory per machine in the MapReduce model. In the Congested Clique (and more generally, any network in the $\mathcal{CONGEST}$ model), the major impediment to constructing fast algorithms is the $O(\log n)$ restriction on message sizes. Similarly, in the MapReduce model, the combined restrictions on memory per machine and total system memory have a dominant effect on algorithm design. In showing a fairly general simulation algorithm, we highlight the similarities and differences between these models.

연구 동기 및 목표

• 컨게스티드 클라이언트 모델의 대역폭 제약과 MapReduce 모델의 메모리 제약 간의 공식적 대응 관계 수립.
• 컨게스티드 클라이언트 알고리즘을 효율적인 MapReduce 알고리즘으로 변환하는 일반적인 시뮬레이션 알고리즘 개발.
• 이러한 시뮬레이션의 실용성을 입증하기 위해, Ω(n^{1+c})개의 간선을 가진 그래프에 대해 O(1)-라운드 O(Δ)-색칠 알고리즘을 MapReduce에서 달성.
• 컨게스티드 클라이언트 모델의 상태 기반 특성이 상태 없는 MapReduce 모델보다 그래프 색칠 문제에서 증명 가능한 이점을 제공하는지 탐구.
• 특히 각 머신의 메모리가 O(n^{1−ε})일 때, MapReduce에서 O(1)-라운드 O(Δ)-색칠이 가능한지 탐색.

제안 방법

• 각 컨게스티드 클라이언트 알고리즘의 한 라운드를 MapReduce의 한 번의 맵-셔플-리듀스 라운드로 매핑하며, 분할 함수를 사용해 데이터를 리듀서 간에 분배.
• 비방송 데이터의 경우 각 리듀서가 O(n^{1+ε})개 이하의 튜플을 처리하도록 하여 로드 밸런싱을 보장.
• 방송 메시지의 경우 각 리듀서가 O(n)개 이하의 튜플을 처리하도록 하여 로드 밸런싱을 확보.
• 원래 컨게스티드 클라이언트 알고리즘의 알고리즘 논리(메시지 전달 및 국소 계산 포함)를 유지하면서도, MapReduce의 데이터 병렬 및 메모리 제약 실행 모델을 준수.
• 메타데이터 튜플을 사용해 분할 함수를 기술함으로써, 각 리듀서가 O(n)개 이하의 이러한 튜플만 보유하도록 하여 하위선형 메모리 한계를 유지.
• 원래 컨게스티드 클라이언트 알고리즘이 (n^{1+c}, n^{1+ε})-경량적이라는 가정 하에 시뮬레이션의 정당성을 증명함으로써, 각 머신의 통신 및 메모리 사용이 유한함을 보장.

실험 결과

연구 질문

• RQ1 컨게스티드 클라이언트 모델을 위해 설계된 알고리즘이 라운드 복잡도가 유사한 조건에서 MapReduce 모델에서 체계적으로 시뮬레이션될 수 있는가?
• RQ2 컨게스티드 클라이언트 모델의 각 노드 대역폭과 MapReduce 모델의 각 머신 메모리 간의 정확한 대응 관계는 무엇인가?
• RQ3 각 머신의 메모리가 O(n)일 때, ε > 0 조건 없이도 MapReduce에서 O(1)-라운드 O(Δ)-색칠을 달성할 수 있는가?
• RQ4 컨게스티드 클라이언트 모델의 상태 기반 특성이 그래프 색칠 문제에서 상태 없는 MapReduce 모델보다 증명 가능한 이점을 제공하는가?
• RQ5 각 머신의 메모리가 ε > 0 인 경우 O(n^{1−ε})일 때, MapReduce에서 O(1)-라운드 O(Δ)-색칠을 달성할 수 있는가?

주요 결과

• Δ ≥ Θ(log⁴n)인 그래프에 대해 컨게스티드 클라이언트 모델에서 O(1) 라운드 내에 실행되는 O(Δ)-색칠 알고리즘은 MapReduce 모델에서도 O(1) 라운드 내에 시뮬레이션 가능.
• 이 시뮬레이션 프레임워크는 각 머신의 메모리가 O(n)일 때조차도 O(1)-라운드 O(Δ)-색칠을 가능하게 하여, 이전 연구에서 O(1)-라운드 성능을 위해 ε > 0 가정이 필요했던 것에 비해 중대한 개선을 이룬다.
• 시뮬레이션은 통신 및 메모리 한계를 유지하며, 각 리듀서가 O(n^{1+ε})개 이하의 튜플을 처리하고, 방송 메시지가 리듀서 간에 중복되지 않도록 보장한다.
• 이 프레임워크는 컨게스티드 클라이언트의 교착 상태와 MapReduce의 메모리 제약 간의 구조적 유사성이 알고리즘 간 직접 이전을 가능하게 함을 보여준다.
• Ω(n^{1+c})개의 간선과 Δ ≥ log⁴n를 가진 n-노드 그래프에 대해 O(Δ)-색칠을 계산하는 문제는 MRC⁰ 복잡도 클래스에 속하며, 이는 표준 MapReduce 제약 조건 하에서 상수 라운드로 해결 가능함을 의미한다.
• 작은 Δ = O(poly(log n))에 대해, 논문은 컨게스티드 클라이언트에서 O(log log log n)-라운드 O(Δ)-색칠 알고리즘을 제시하며, 이는 MapReduce에서도 시뮬레이션 가능하지만, 더 높은 라운드 복잡도를 가진다.