[논문 리뷰] Simulating Parallel Algorithms in the MapReduce Framework with Applications to Parallel Computational Geometry

Michael T. Goodrich|arXiv (Cornell University)|2010. 04. 27.

Graph Theory and Algorithms참고 문헌 26인용 수 10

한 줄 요약

이 논문은 지도-감소 프레임워크 내에서 BSP 및 PRAM 모델의 병렬 알고리즘에 대한 효율적인 시뮬레이션을 제시하여 기하 문제에 대해 최적의 성능을 달성한다. B-트리 기반 메모리 시뮬레이션과 버퍼 인지 감소기 설계를 활용하여 정렬, 근접 이웃, 볼록껍질, 선형 프로그래밍에 대해 상수 라운드, 선형 메시지 복잡도 알고리즘을 달성하며, 감소기 크기와 전체 효율성에 대해 고확률 경계를 보장한다.

ABSTRACT

In this paper, we describe efficient MapReduce simulations of parallel algorithms specified in the BSP and PRAM models. We also provide some applications of these simulation results to problems in parallel computational geometry for the MapReduce framework, which result in efficient MapReduce algorithms for sorting, 1-dimensional all nearest-neighbors, 2-dimensional convex hulls, 3-dimensional convex hulls, and fixed-dimensional linear programming. For the case when reducers can have a buffer size of $B=O(n^ε)$, for a small constant $ε>0$, all of our MapReduce algorithms for these applications run in a constant number of rounds and have a linear-sized message complexity, with high probability, while guaranteeing with high probability that all reducer lists are of size $O(B)$.

연구 동기 및 목표

• BSP 및 PRAM 모델에서 기술된 병렬 알고리즘에 대한 효율적인 MapReduce 시뮬레이션을 개발하는 것.
• 정렬, 근접 이웃, 볼록껍질, 선형 프로그래밍을 포함한 병렬 기하 계산 문제에 이러한 시뮬레이션을 적용하는 것.
• 기억 제약이 있는 MapReduce 모델 하에서 상수 회수 알고리즘과 선형 메시지 복잡도, 제한된 감소기 크기를 달성하는 것.
• 감소기 버퍼 크기와 전체 알고리즘 효율성에 대해 고확률 보장을 보장하는 것.

제안 방법

• 프로세서 상태와 메모리 셀을 MapReduce의 키-값 쌍으로 매핑하는 B-트리 기반 메모리 추상화를 통해 PRAM 알고리즘을 시뮬레이션하는 것.
• 하나의 라운드에서 메모리 접근과 업데이트를 시뮬레이션하기 위해 하향식 읽기 단계와 상향식 쓰기 단계로 구성된 이단계적 접근 방식을 사용하는 것.
• 감소기에서 상태 변화를 프로세서 간 집계하고 전파하기 위해 신뢰성 맵과 결합 함수를 활용하는 것.
• 버퍼 인지 설계를 도입하여 감소기 버퍼 크기 B = O(n^ε)로 설정함으로써, 모든 감소기 리스트가 고확률로 O(B) 크기 유지 보장.
• 기존에 효율성이 입증된 PRAM 알고리즘으로 변환 가능한 특정 기하 문제에 이 시뮬레이션 프레임워크를 적용하는 것.
• 결론 5.2를 활용하여 O(log_B N) 라운드와 O(N log_B N) 메시지 복잡도를 갖는 선형 프로그래밍 알고리즘 유도.

실험 결과

연구 질문

• RQ1 BSP 및 PRAM 알고리즘이 제한된 감소기 버퍼 크기로 MapReduce 모델에서 효율적으로 시뮬레이션될 수 있는가?
• RQ2 기억 제약이 있는 MapReduce 모델에서 PRAM 알고리즘의 시뮬레이션에 대해 라운드 복잡도와 메시지 복잡도는 무엇인가?
• RQ3 볼록껍질과 선형 프로그래밍과 같은 기하 문제들이 이러한 시뮬레이션을 통해 MapReduce에서 효율적으로 해결될 수 있는가?
• RQ4 시뮬레이션 중 리스트 크기에 대해 고확률 경계를 확보하기 위해 감소기 버퍼 크기를 어떻게 제어할 수 있는가?
• RQ5 이 시뮬레이션 프레임워크는 고정된 차원 기하 문제에 적용되어 근사 최적의 성능를 달성할 수 있는가?

주요 결과

• 논문은 CRCW PRAM 알고리즘의 O(T log_B P) 라운드와 O(T(N + P) log_B P) 메시지 복잡도로 시뮬레이션을 달성하였으며, 여기서 T는 단계 수, P는 프로세서 수, N은 메모리 셀 수이다.
• 고정된 차원 선형 프로그래밍의 경우, O(log_B N) 라운드와 O(N log_B N) 메시지 복잡도로 실행되며, 고확률로 성립한다.
• 정렬, 1차원 전역 근접 이웃, 2차원 및 3차원 볼록껍질, 선형 프로그래밍에 대한 모든 제안된 MapReduce 알고리즘은 상수 라운드 실행과 선형 메시지 복잡도를 달성한다.
• 모든 감소기 리스트가 고확률로 O(B) 크기 유지 보장되며, 여기서 B = O(n^ε)이며 ε > 0 이며 작은 상수이다.
• PRAM 시뮬레이션과 B-트리 기반 메모리 관리 기법을 활용하여, 기하 알고리즘의 효율적이고 고확률 구현이 가능한 프레임워크를 제공한다.
• 결과적으로 복잡한 기하 문제들이 현실적인 기억 제약 하에서도 최적의 병렬 알고리즘 성능에 가까운 성능으로 MapReduce에서 해결 가능함을 입증한다.