[논문 리뷰] Sorting, Searching, and Simulation in the MapReduce Framework

Michael T. Goodrich, Nodari Sitchinava외 1명|arXiv (Cornell University)|2011. 01. 10.

Complexity and Algorithms in Graphs참고 문헌 12인용 수 32

한 줄 요약

이 논문은 정렬, 검색 및 병렬 알고리즘 시뮬레이션을 위한 효율적인 MapReduce 알고리즘을 제시하며, O(log_M N)라운드와 O(N log_M N)의 통신 복잡도로 최적의 성능을 달성한다. 다중 검색과 피벗 기반 버킷화를 활용하여 프로세서당 부분 메모리 사용 조건 하에 상수 라운드 실행을 가능하게 하여, MapReduce의 이론적 기반을 한층 발전시킨다.

ABSTRACT

In this paper, we study the MapReduce framework from an algorithmic standpoint and demonstrate the usefulness of our approach by designing and analyzing efficient MapReduce algorithms for fundamental sorting, searching, and simulation problems. This study is motivated by a goal of ultimately putting the MapReduce framework on an equal theoretical footing with the well-known PRAM and BSP parallel models, which would benefit both the theory and practice of MapReduce algorithms. We describe efficient MapReduce algorithms for sorting, multi-searching, and simulations of parallel algorithms specified in the BSP and CRCW PRAM models. We also provide some applications of these results to problems in parallel computational geometry for the MapReduce framework, which result in efficient MapReduce algorithms for sorting, 2- and 3-dimensional convex hulls, and fixed-dimensional linear programming. For the case when mappers and reducers have a memory/message-I/O size of $M=Θ(N^ε)$, for a small constant $ε>0$, all of our MapReduce algorithms for these applications run in a constant number of rounds.

연구 동기 및 목표

• PRAM 및 BSP 모델에 비견할 수 있는 MapReduce 프레임워크의 이론적 기반을 구축하기 위해.
• 정렬, 다중 검색, 병렬 알고리즘 시뮬레이션과 같은 기본 문제를 위한 효율적인 MapReduce 알고리즘을 설계하기 위해.
• 프로세서당 부분 메모리 사용 조건 하에 정렬 및 계산 기하학 문제에 대해 상수 라운드 실행을 달성하기 위해.
• MapReduce에서의 빠른 인덱스 기반 검색의 실현 가능성을 입증하여, 그 비효율성에 대한 비판에 대응하기 위해.
• 클라우드 및 클러스터 환경에서 데이터 집약적 계산을 위한 실용적이고 이론적으로 타당한 프레임워크를 제공하기 위해.

제안 방법

• 랜덤 피벗을 사용하여 입력 데이터를 버킷으로 분할하여 병렬 정렬을 수행하기 위해.
• 정렬된 피벗에 기반한 검색 트리 위에서 다중 검색을 수행하여 각 입력 항목을 올바른 버킷에 할당하기 위해.
• 각 버킷에 대해 정렬 알고리즘을 재귀적으로 병렬 적용하여 문제 크기를 감소시키기 위해.
• 각 라운드당 노드당 최대 M개의 항목을 허용하는 수정된 MapReduce 모델을 설계하여, BSP 및 PRAM 알고리즘의 시뮬레이션을 가능하게 하기 위해.
• 메시지 흐름을 관리하고 라운드 간 데이터 구조를 유지하기 위해 FIFO 입력 버퍼와 큐의 엣지 유지 기법을 사용하기 위해.
• 각 노드가 라운드당 최대 M개의 항목을 보내고 수신하므로, I/O 및 통신 복잡도가 유한함을 활용하기 위해.

실험 결과

연구 질문

• RQ1 정렬 및 검색이 상수 라운드 내에서 MapReduce 모델에서 효율적으로 수행될 수 있는가?
• RQ2 BSP 및 CRCW PRAM 모델의 병렬 알고리즘은 MapReduce에서 얼마나 낮은 오버헤드로 시뮬레이션될 수 있는가?
• RQ3 MapReduce에서의 다중 검색의 통신 및 라운드 복잡도는 무엇이며, 최적화될 수 있는가?
• RQ4 제안된 기법을 사용하여 효율적인 볼록 껍질 및 선형 프로그래밍 알고리즘을 MapReduce에서 구현할 수 있는가?
• RQ5 MapReduce는 인덱싱 및 구조화된 데이터 접근을 지원하는 데 있어 이론적 한계가 무엇인가?

주요 결과

• 제안된 정렬 알고리즘은 고확률로 O(log_M N)라운드와 O(N log_M N)의 통신 복잡도로 실행된다.
• 다중 검색은 Θ(√N)개의 랜덤 피벗에 기반한 검색 트리를 통해 달성되며, 효율적인 버킷 할당을 가능하게 한다.
• 각 메이퍼와 리듀서가 메모리 M = Θ(N^ε)를 확보할 경우, 알고리즘이 상수 라운드 성능을 달성한다 (ε > 0 이며 매우 작은 값).
• 수정된 MapReduce 모델을 통해 BSP 및 PRAM 알고리즘을 O(R)라운드와 O(C)의 통신 복잡도로 시뮬레이션할 수 있으며, 효율성이 유지된다.
• 2차원 및 3차원 볼록 껍질, 그리고 고정 차원 선형 프로그래밍 계산이 상수 라운드 내에서 효율적으로 수행될 수 있다.
• 피벗 기반 접근을 통해 브루트 포스 정렬의 O(N² log_M N)에서부터 O(N log_M N)으로 통신 복잡도가 감소한다.