[論文レビュー] Lessons from the Congested Clique Applied to MapReduce

James W. Hegeman, Sriram V. Pemmaraju|arXiv (Cornell University)|May 17, 2014

Complexity and Algorithms in Graphs参考文献 11被引用数 13

ひとこと要約

本稿では、コンジェスティド・クリークモデルにおけるアルゴリズムを同等のMapReduceアルゴリズムに変換する一般化されたシミュレーションフレームワークを提示する。O(1)ラウンドで動作するO(Δ)-カラーリングアルゴリズムが、コンジェスティド・クリークモデル上でO(1)ラウンドで実行可能である場合、そのシミュレーションがMapReduceモデルでもO(1)ラウンドで効率的に実行可能であることを示している。主な貢献は、コンジェスティド・クリークにおけるノードごとの帯域幅とMapReduceにおけるマシンごとのメモリ量との間の新しいシミュレーション定理の確立であり、これにより、サブラインアーメモリのマシンであってもグラフ彩色のO(1)ラウンド解法が可能になる。

ABSTRACT

The main results of this paper are (I) a simulation algorithm which, under quite general constraints, transforms algorithms running on the Congested Clique into algorithms running in the MapReduce model, and (II) a distributed $O(Δ)$-coloring algorithm running on the Congested Clique which has an expected running time of (i) $O(1)$ rounds, if $Δ\geq Θ(\log^4 n)$; and (ii) $O(\log \log n)$ rounds otherwise. Applying the simulation theorem to the Congested-Clique $O(Δ)$-coloring algorithm yields an $O(1)$-round $O(Δ)$-coloring algorithm in the MapReduce model. Our simulation algorithm illustrates a natural correspondence between per-node bandwidth in the Congested Clique model and memory per machine in the MapReduce model. In the Congested Clique (and more generally, any network in the $\mathcal{CONGEST}$ model), the major impediment to constructing fast algorithms is the $O(\log n)$ restriction on message sizes. Similarly, in the MapReduce model, the combined restrictions on memory per machine and total system memory have a dominant effect on algorithm design. In showing a fairly general simulation algorithm, we highlight the similarities and differences between these models.

研究の動機と目的

• コンジェスティド・クリークモデルにおける帯域制限とMapReduceモデルにおけるメモリ制限との間の正式な対応関係を確立すること。
• コンジェスティド・クリークアルゴリズムを効率的なMapReduceアルゴリズムに変換する一般化されたシミュレーションアルゴリズムを開発すること。
• このシミュレーションの実用的有用性を実証するため、Ω(n^{1+c})本の辺を持つグラフに対して、MapReduceでO(1)ラウンドO(Δ)-カラーリングアルゴリズムを達成すること。
• コンジェスティド・クリークの状態保持的性質が、状態なしのMapReduceモデルに比べて、顕著な利点を提供するかどうかを検討すること。
• 特にマシンあたりメモリがO(n^{1−ε})であるような緩いメモリ制約下でも、MapReduceでO(1)-ラウンドO(Δ)-カラーリングが可能かどうかを調査すること。

提案手法

• シミュレーションは、コンジェスティド・クリークアルゴリズムの各ラウンドを、MapReduceにおける1回のマップ・シャッフル・リダースラウンドにマッピングする。パーティショニング関数を用いてデータをリダーサーに分散配分する。
• 非ブロードキャストデータについては、各リダーサーがO(n^{1+ε})個のタプルを超えないように制限することで、負荷分散を確保する。ブロードキャストメッセージについてはO(n)を上限とする。
• 状態情報およびメッセージ数の情報を明示的にリダーサー間で負荷分散させ、1台のマシンがO(n)を超えるメモリ使用量を超過しないようにする。
• シミュレーションは、メッセージ送信およびローカル計算を含む、元のコンジェスティド・クリークアルゴリズムのアルゴリズム論理を保持するが、MapReduceのデータ並列的かつメモリ制限付き実行モデルを尊重する。
• パーティショニング関数を記述するメタデータタプルを用いることで、各リダーサーがO(n)を超えるタプルを保持しないようにし、サブラインアーメモリ境界を維持する。
• 元のコンジェスティド・クリークアルゴリズムが(n^{1+c}, n^{1+ε})-ライトウェイトであると仮定すれば、シミュレーションは正当性が保証される。これにより、各マシンにおける通信量とメモリ使用量が有界であることが保証される。

実験結果

リサーチクエスチョン

• RQ1 コンジェスティド・クリークモデル向けに設計されたアルゴリズムを、同等のラウンド複雑度でMapReduceモデルに体系的にシミュレートすることは可能か？
• RQ2 コンジェスティド・クリークにおけるノードごとの帯域幅とMapReduceにおけるマシンごとのメモリ量との間の正確な対応関係は何か？
• RQ3 マシンあたりメモリがO(n)である場合、ε > 0 を要件としないまま、MapReduceでO(1)-ラウンドO(Δ)-カラーリングを達成することは可能か？
• RQ4 コンジェスティド・クリークモデルの状態保持的性質が、グラフ彩色問題において、状態なしのMapReduceモデルに比べて、証明可能な利点を提供するか？
• RQ5 マシンあたりメモリがO(n^{1−ε})（ε > 0）である場合、MapReduceでO(1)-ラウンドO(Δ)-カラーリングを達成することは可能か？

主な発見

• Δ ≥ Θ(log⁴n) を満たすグラフに対して、コンジェスティド・クリークモデルでO(1)ラウンドで動作するO(Δ)-カラーリングアルゴリズムは、MapReduceモデルでもO(1)ラウンドでシミュレート可能である。
• このシミュレーションフレームワークにより、マシンあたりメモリがO(n)であっても、MapReduceでO(1)-ラウンドO(Δ)-カラーリングが達成可能であり、これは従来の研究がε > 0 を要件としていたO(1)-ラウンド性能を上回る顕著な改善である。
• シミュレーションは通信量とメモリ使用量の境界を保持しており、どのリダーサーもO(n^{1+ε})個を超えるタプルを処理しないこと、およびブロードキャストメッセージがリダーサー間で重複して処理されないことを保証する。
• このフレームワークは、コンジェスティド・クリークにおける通信混雑さとMapReduceにおけるメモリ制限との間の構造的類似性が、モデル間での直接的なアルゴリズム移行を可能にすることを示している。
• Ω(n^{1+c})本の辺とΔ ≥ log⁴n を満たすnノードグラフに対するO(Δ)-カラーリングの計算問題は、MRC⁰複雑度クラスに属する。これは、標準的なMapReduce制約下でも定数ラウンドで解けることを示している。
• Δ = O(poly(log n)) のような小規模な場合、本稿ではコンジェスティド・クリーク上でO(log log log n)-ラウンドO(Δ)-カラーリングアルゴリズムを提示し、これはMapReduceでもシミュレート可能であるが、より高いラウンド複雑度を示す。