[論文レビュー] Simulating Parallel Algorithms in the MapReduce Framework with Applications to Parallel Computational Geometry

Michael T. Goodrich|arXiv (Cornell University)|Apr 27, 2010

Graph Theory and Algorithms参考文献 26被引用数 10

ひとこと要約

本稿では、BSPおよびPRAMモデルからの並列アルゴリズムの効率的なシミュレーションをMapReduceフレームワーク内で提示し、幾何問題における最適なパフォーマンスを実現する。Bツリーに基づくメモリシミュレーションとバッファを考慮したレデューサー設計を活用することで、ソート、最近傍探索、凸包、線形計画法について、定数ラウンド、線形メッセージ複雑性のアルゴリズムを達成し、レデューサーのサイズと全体の効率性に高い確率での境界を保証する。

ABSTRACT

In this paper, we describe efficient MapReduce simulations of parallel algorithms specified in the BSP and PRAM models. We also provide some applications of these simulation results to problems in parallel computational geometry for the MapReduce framework, which result in efficient MapReduce algorithms for sorting, 1-dimensional all nearest-neighbors, 2-dimensional convex hulls, 3-dimensional convex hulls, and fixed-dimensional linear programming. For the case when reducers can have a buffer size of $B=O(n^ε)$, for a small constant $ε>0$, all of our MapReduce algorithms for these applications run in a constant number of rounds and have a linear-sized message complexity, with high probability, while guaranteeing with high probability that all reducer lists are of size $O(B)$.

研究の動機と目的

• BSPおよびPRAMモデルで指定された並列アルゴリズムの効率的なMapReduceシミュレーションを開発すること。
• これらのシミュレーションを、ソート、最近傍探索、凸包、線形計画法を含む、並列計算幾何学の主要問題に適用すること。
• メモリ制限付きMapReduceモデルにおいて、定数ラウンドのアルゴリズムと線形メッセージ複雑性、かつ制限されたレデューサーのサイズを達成すること。
• レデューサーのバッファサイズと全体のアルゴリズム効率性に、高い確率での保証を提供すること。

提案手法

• プロセッサの状態とメモリセルをMapReduceのキー値ペアにマッピングするBツリーに基づくメモリアブストラクションを用いて、PRAMアルゴリズムをシミュレートする。
• 下位から上位への読み取りフェーズと上位から下位への書き込みフェーズの2段階アプローチを用い、ラウンド間でのメモリアクセスと更新をシミュレートする。
• アイデンティティマップと結合関数をレデューサーで使用し、プロセッサ間での状態変更の集約と伝搬を実現する。
• バッファを考慮した設計を導入し、レデューサーのバッファサイズB = O(n^ε)とすることで、すべてのレデューサーリストが高確率でO(B)のサイズを保つようにする。
• 既知の効率性を持つPRAMアルゴリズムに還元することで、特定の幾何問題にシミュレーションフレームワークを適用する。
• 補題5.2を用いて、O(log_B N)ラウンド、O(N log_B N)メッセージ複雑性を持つ線形計画法のアルゴリズムを導出する。

実験結果

リサーチクエスチョン

• RQ1 BSPおよびPRAMアルゴリズムは、制限されたレデューサーのバッファサイズを満たすMapReduceモデルで効率的にシミュレート可能か？
• RQ2 メモリ制限付きMapReduceモデルにおいて、PRAMアルゴリズムをシミュレートする際のラウンド複雑性とメッセージ複雑性は何か？
• RQ3 凸包や線形計画法のような幾何問題は、これらのシミュレーションを用いてMapReduceで効率的に解けるか？
• RQ4 シミュレーション中にリストサイズに高い確率での境界を保証するために、レデューサーのバッファサイズをどのように制御できるか？
• RQ5 このシミュレーションフレームワークは、固定次元の幾何問題に適用可能で、近似的に最適なパフォーマンスを達成できるか？

主な発見

• 本稿では、CRCW PRAMアルゴリズムのシミュレーションをO(T log_B P)ラウンド、O(T(N + P) log_B P)メッセージ複雑性で達成し、ここでTはステップ数、Pはプロセッサ数、Nはメモリセル数を表す。
• 固定次元の線形計画法に関しては、O(log_B N)ラウンド、O(N log_B N)メッセージ複雑性で実行され、高確率で成立する。
• ソート、1次元のすべての最近傍探索、2次元および3次元の凸包、線形計画法のすべての提案されたMapReduceアルゴリズムが、定数ラウンド実行と線形メッセージ複雑性を達成する。
• すべてのレデューサーリストが高確率でO(B)のサイズを保つことが保証され、ここでB = O(n^ε)（ε > 0 は小さな定数）である。
• PRAMシミュレーションとBツリーに基づくメモリ管理を活用することで、幾何アルゴリズムの効率的かつ高確率での実装が可能になる。
• 結果として、現実的なメモリ制約下でも、最適な並列アルゴリズムに近いパフォーマンスで、複雑な幾何問題がMapReduceで解けることが示された。