[論文レビュー] Vision Paper: Towards an Understanding of the Limits of Map-Reduce Computation

Foto Afrati, Anish Das Sarma+2 more|arXiv (Cornell University)|Apr 8, 2012

Graph Theory and Algorithms参考文献 9被引用数 23

ひとこと要約

この論文は、入力が送られるリデューサーの平均数であるリプロダクションレートを定義することで、マップリダス計算の限界を形式的モデルで分析する。ハミング距離-1 や三角形検出といった問題について、リプロダクションレートのタイトな下界を確立し、並列性が高まる（1つのリデューサーあたりの入力数が減る）と、リプロダクションが増加することを示し、これらの下界を満たすアルゴリズムを提示することで、マップリダスシステムにおける並列性と通信コストの間の本質的なトレードオフを明らかにする。

ABSTRACT

A significant amount of recent research work has addressed the problem of solving various data management problems in the cloud. The major algorithmic challenges in map-reduce computations involve balancing a multitude of factors such as the number of machines available for mappers/reducers, their memory requirements, and communication cost (total amount of data sent from mappers to reducers). Most past work provides custom solutions to specific problems, e.g., performing fuzzy joins in map-reduce, clustering, graph analyses, and so on. While some problems are amenable to very efficient map-reduce algorithms, some other problems do not lend themselves to a natural distribution, and have provable lower bounds. Clearly, the ease of "map-reducability" is closely related to whether the problem can be partitioned into independent pieces, which are distributed across mappers/reducers. What makes a problem distributable? Can we characterize general properties of problems that determine how easy or hard it is to find efficient map-reduce algorithms? This is a vision paper that attempts to answer the questions described above.

研究の動機と目的

• マップリダス計算の根本的限界を理解すること、特に並列性と通信コストのトレードオフを明らかにすること。
• マップリダスにおけるデータ管理問題の「分散可能性」の概念を形式化し、入力出力関係をモデル化すること。
• 通信オーバーヘッドとアルゴリズム効率の主要指標としてリプロダクションレートを定量化すること。
• 特定の問題におけるリプロダクションレートの証明可能な下界を導出し、高い並列性を達成する際の本質的制限を示すこと。
• 三角形検出やハミング距離-1 のような問題に対する既知のアルゴリズムが、これらの理論的下界に近いリプロダクションレートを達成することを示すこと。

提案手法

• 問題は有限な入力集合と出力集合で定義され、各出力が特定の入力集合に対応するという形式的モデルを提示。データプロヴァンスを捉える。
• リプロダクションレートを、入力が送られるリデューサーの平均数として定義。通信コストと直接関係する。
• ハミング距離-1 問題に対して幾何的アプローチを用いる。文字列をハイパーキューブ上の点としてモデル化し、境界点を分析してリプロダクションレートを計算。
• 三角形検出に対して組合せ的分析を適用。q 個の入力が与えられたとき、1つのリデューサーがカバーできる最大の三角形数を、サイズkの完全部分グラフを用いて制約。
• 総入力数 |I|、出力数 |O|、および1リデューサーあたりの最大出力カバレッジ g(q) を組み合わせることで、リプロダクションレートの下界を導出。その結果、∑q_i / |I| ≥ n / √(2q) が得られる。
• マルチウェイジョインへとフレームワークを一般化。m 個の関係（アリティ a）における m 重ジョインに対して、O(q^{1−m/a}n^{m−a}) の境界を示す。

実験結果

リサーチクエスチョン

• RQ1 問題の構造的性質のうち、それがマップリダスモデルで効率的に計算可能かどうかを決定する要因は何か？
• RQ2 基本的な問題において、並列性が高まる（つまり、1リデューサーあたりの入力数が減少する）と、リプロダクションレート（入力が送られるリデューサーの平均数）はどのように変化するか？
• RQ3 統一的な形式的枠組みを用いて、ハミング距離-1 や三角形検出といった問題のリプロダクションレートにタイトな下界を導出できるか？
• RQ4 三角形検出や類似度ジョインのための既知のマップリダスアルゴリズムは、リプロダクションレートの理論的下限にどの程度近いか？
• RQ5 このモデルはマルチウェイジョインやその他の複雑なデータ管理操作を捉えるためにどのように一般化できるか？

主な発見

• ハミング距離-1 問題において、リプロダクションレートは 1 + d/k で下界に抑えられる。ここで d は文字列長、k は1リデューサーあたりのビット数。ハイパーキューブ分割によってタイトな下限が達成される。
• 三角形検出において、リプロダクションレートの下界は r ≥ n / √(2q) である。ここで n はノード数、q は1リデューサーあたりの最大入力数。三角形カバレッジの組合せ的制約から導出される。
• モデルは、並列性が高まる（q が減少する）と、リプロダクションレートが増加しなければならないことを示し、避けられない通信コストのトレードオフを示している。
• 既知の三角形検出アルゴリズムは、理論的下限の定数倍の範囲内でリプロダクションレートを達成しており、導出された限界のタイトさを確認している。
• フレームワークはマルチウェイジョインへと一般化され、m 重ジョイン（a 個の関係、アリティ a）に対して O(q^{1−m/a}n^{m−a}) の境界が得られ、同様のトレードオフが広く適用可能であることを示している。
• このモデルは、ネイチャルジョイン、グループバイアンドサム、類似度ジョイン、グラフパターンマッチングを含む多様な問題を効果的に捉えており、広範な適用可能性を示している。