[論文レビュー] Meta-MapReduce: A Technique for Reducing Communication in MapReduce Computations

Foto Afrati, Shlomi Dolev+2 more|arXiv (Cornell University)|Aug 5, 2015

Graph Theory and Algorithms参考文献 13被引用数 8

ひとこと要約

この論文では、メタデータを送信することで、完全なデータ値の送信を避けることにより、分散型MapReduce計算における通信コストを低減するMeta-MapReduceという手法を紹介している。マップ段階およびリダース段階でメタデータを処理することで、特に最終出力に寄与する入力データの部分集合に限定されるワークロードにおいて、データ転送を最小限に抑え、等価結合、k-NN、最短経路計算などのワークロードで顕著な通信コスト削減を実現している。

ABSTRACT

MapReduce has proven to be one of the most useful paradigms in the revolution of distributed computing, where cloud services and cluster computing become the standard venue for computing. The federation of cloud and big data activities is the next challenge where MapReduce should be modified to avoid (big) data migration across remote (cloud) sites. This is exactly our scope of research, where only the very essential data for obtaining the result is transmitted, reducing communication, processing and preserving data privacy as much as possible. In this work, we propose an algorithmic technique for MapReduce algorithms, called Meta-MapReduce, that decreases the communication cost by allowing us to process and move metadata to clouds and from the map phase to reduce phase. In Meta-MapReduce, the reduce phase fetches only the required data at required iterations, which in turn, assists in preserving the data privacy.

研究の動機と目的

• データと計算がリモートに配置されている場合に発生する高い通信コストを低減すること、特に最終出力に寄与するデータが入力の一部に限定される状況を想定する。
• クラウドや分散サイト間での生データの転送を最小限に抑えることで、データプライバシーを保護すること。
• 通信量を削減することで、マルチラウンドおよび地理的に分散されたMapReduce計算の効率を向上させること。
• 正しさを保ちながら通信オーバーヘッドを著しく削減するスケーラブルなアルゴリズム的手法を提供すること。
• 等価結合、k-NN、グラフ上の最短経路計算といった実世界の問題に対して、この手法の有効性を示すこと。

提案手法

• 本手法は、データの構造的・意味的特徴を要約するメタデータを収集することで、完全なデータ転送をメタデータ転送に置き換える。
• マップ段階でメタデータを処理し、事前にフィルタリングまたは要約することで、リダーサーに送信するデータ量を削減する。
• リダーサーはメタデータを処理して、どの完全なデータ項目が必要かを特定し、後続の段階でそれらのみを取得する。
• リダーサーが処理可能な入力サイズの上限（q）を制約として用いることで、スケーラビリティを確保する。
• 繰り返しのMapReduceワークフローをサポートするため、複数ラウンドにわたってメタデータに基づくプルーニングを可能にする。
• 既存のMapReduceフレームワークに統合するため、マップおよびリダース段階を拡張し、メタデータ対応処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 データと計算が地理的に離れている場合に、MapReduceにおける通信コストをどのように低減できるか。
• RQ2 正しさやパフォーマンスを損なわずに、MapReduceにおける完全なデータ転送をメタデータでどの程度置き換えられるか。
• RQ3 k-NN や最短経路計算のようなマルチラウンドMapReduceワークフローにおいて、Meta-MapReduceが通信量を顕著に削減できるか。
• RQ4 生データの転送を最小限に抑えることで、Meta-MapReduceがどのようにデータプライバシーを保護できるか。
• RQ5 等価結合のような一般的な操作において、古典的MapReduceと比較して、Meta-MapReduceの理論的通信コスト削減率はどの程度か。

主な発見

• 2つの関係の等価結合において、Meta-MapReduceは古典的MapReduceの4nwビットと比較して、最大2nc + h(c + w)ビットに通信コストを削減できる。
• k-NNにおいてk ≤ mの場合、完全なタプルの代わりにS個のタプルのメタデータのみを送信するため、通信コスト削減が顕著に顕著になる。
• ソーシャルネットワーク上の最短経路計算において、Meta-MapReduceは関係のない写真やノードの転送を回避し、必要なメタデータのみに限定してデータ転送を実行する。
• 部分出力のクラスタ間転送を最小限に抑えることで、地理的に分散したデータの効率的処理を可能にする。
• 繰り返しのMapReduceをサポートするため、複数ラウンドにわたってメタデータに基づくプルーニングを可能にし、不要なデータ移動を削減する。
• 出力に寄与する入力が少数に限定される場合に特に顕著に、正しさを保ちながら送信データサイズを指数関数的に削減できる。