[論文レビュー] Upper and Lower Bounds on the Cost of a Map-Reduce Computation

Foto Afrati, Anish Das Sarma+2 more|arXiv (Cornell University)|Jun 20, 2012

Complexity and Algorithms in Graphs参考文献 18被引用数 19

ひとこと要約

本稿では、1ラウンドおよび2ラウンドのマップ・リダース計算における通信コスト（レプリケーションレート）とリダーササイズのトレードオフを分析する形式的モデルを導入する。ハミング距離、三角形検出、行列積といった主要な問題について、タイトな上限と下限を導出し、特にリダーササイズが小さい場合に2ラウンドアルゴリズムが1ラウンド手法に比べて通信量を顕著に削減できることを示している。

ABSTRACT

In this paper we study the tradeoff between parallelism and communication cost in a map-reduce computation. For any problem that is not "embarrassingly parallel," the finer we partition the work of the reducers so that more parallelism can be extracted, the greater will be the total communication between mappers and reducers. We introduce a model of problems that can be solved in a single round of map-reduce computation. This model enables a generic recipe for discovering lower bounds on communication cost as a function of the maximum number of inputs that can be assigned to one reducer. We use the model to analyze the tradeoff for three problems: finding pairs of strings at Hamming distance $d$, finding triangles and other patterns in a larger graph, and matrix multiplication. For finding strings of Hamming distance 1, we have upper and lower bounds that match exactly. For triangles and many other graphs, we have upper and lower bounds that are the same to within a constant factor. For the problem of matrix multiplication, we have matching upper and lower bounds for one-round map-reduce algorithms. We are also able to explore two-round map-reduce algorithms for matrix multiplication and show that these never have more communication, for a given reducer size, than the best one-round algorithm, and often have significantly less.

研究の動機と目的

• マップ・リダース計算における通信コスト（レプリケーションレート）とリダーササイズのトレードオフを形式化すること。
• リダーサ入力サイズに基づいて通信コストの下限を導出するための汎用的フレームワークを構築すること。
• 基本的なデータ処理問題における1ラウンドおよび2ラウンドマップ・リダースアルゴリズムのパフォーマンスを分析・最適化すること。
• 行列積や類似問題において、2ラウンドアルゴリズムが1ラウンドの対応手法に比べて顕著に低い通信コストを達成できることを示すこと。
• クラスタの特性（通信速度やメモリ制限など）に基づいて最適なアルゴリズム設定を選択するための理論的基盤を提供すること。

提案手法

• 入力をキーにマッピングし、リダーサが最大サイズ q（リダーササイズ）の入力リストを処理するモデルを提案する。
• レプリケーションレートを、1入力あたりに生成されるキー・バリュー対の平均数として定義し、通信コストを表す。
• リダーササイズ q とパーティショニングパラメータ（例：行列積における s と t）との関係を制約条件として用い、ラグランジュ乗数法を用いて総通信コストを最小化する。
• ハミング距離、三角形検出、行列積の3つの問題にモデルを適用し、解析的境界を導出する。
• 行列積の文脈では、1ラウンドと2ラウンドの方式を比較し、2ラウンド手法が通信量を √q 倍まで削減できることを示す。
• 幾何学的および組合せ論的推論を用いて、リダーサ数とカバーされる出力数の境界を評価し、特に多次元データレイアウトにおいて有効であることを示す。

実験結果

リサーチクエスチョン

• RQ1 最大リダーササイズが与えられた1ラウンドマップ・リダース計算における通信コストの理論的下限は何か？
• RQ2 ハミング距離、三角形検出、行列積といった問題において、通信コストはリダーササイズにどのように依存するか？
• RQ3 2ラウンドマップ・リダースアルゴリズムは、行列積において1ラウンド手法に比べて低い通信コストを達成できるか。また、その条件は何か？
• RQ4 これらの問題における通信コストの上限と下限はどのように比較できるか。また、漸近的に一致するか？
• RQ5 通信コストと計算コストの合計を最小化するリダーササイズとレプリケーションレートの設定は存在するか？

主な発見

• ハミング距離 1 については、通信コストの上限と下限が完全に一致しており、提案手法の最適性が証明されている。
• 三角形検出や類似するグラフパターン検出問題においては、上限と下限が定数因子の違いしかなく、近似的に最適であることが示されている。
• 行列積においては、2ラウンドアルゴリズムの総通信コストが $ \frac{4n^3}{\sqrt{q}} $ に抑えられ、$ q < n^2 $ の場合に1ラウンド手法より厳密に小さい。
• 2ラウンド手法は、$ q < n^2 $ の場合、1ラウンド手法に比べて通信量を $ \sqrt{q} $ 倍まで削減でき、特に q が小さい場合にその効果が顕著である。
• 2ラウンド行列積の最適設定は、$ s = \sqrt{q} $ および $ t = \sqrt{q}/2 $ のときであり、ラグランジュ乗数法を用いて導出された。
• 分析により、2ラウンドアルゴリズムの通信量は、最良の1ラウンドアルゴリズムよりも常に高くならず、特にリダーササイズが小さい場合には顕著に少ないことが示された。