[論文レビュー] On the Complexity of Processing Massive, Unordered, Distributed Data

Jon Feldman, S. Muthukrishnan+3 more|ArXiv.org|Nov 21, 2006

Distributed systems and fault tolerance参考文献 16被引用数 11

ひとこと要約

この論文は、MapReduce や Hadoop のような現代のスケーラブルな大規模データ処理システムを形式化するための Mud（Massive, Unordered, Distributed）計算モデルを導入する。任意のストリーミングアルゴリズムで計算可能な対称関数は、空間および通信計算量が同等の条件下で Mud アルゴリズムでも計算可能であることが証明され、ストリーミング計算と非順序分散計算の間の基礎的同等性が確立される。

ABSTRACT

An existing approach for dealing with massive data sets is to stream over the input in few passes and perform computations with sublinear resources. This method does not work for truly massive data where even making a single pass over the data with a processor is prohibitive. Successful log processing systems in practice such as Google's MapReduce and Apache's Hadoop use multiple machines. They efficiently perform a certain class of highly distributable computations defined by local computations that can be applied in any order to the input. Motivated by the success of these systems, we introduce a simple algorithmic model for massive, unordered, distributed (mud) computation. We initiate the study of understanding its computational complexity. Our main result is a positive one: any unordered function that can be computed by a streaming algorithm can also be computed with a mud algorithm, with comparable space and communication complexity. We extend this result to some useful classes of approximate and randomized streaming algorithms. We also give negative results, using communication complexity arguments to prove that extensions to private randomness, promise problems and indeterminate functions are impossible. We believe that the line of research we introduce in this paper has the potential for tremendous impact. The distributed systems that motivate our work successfully process data at an unprecedented scale, distributed over hundreds or even thousands of machines, and perform hundreds of such analyses each day. The mud model (and its generalizations) inspire a set of complexity-theoretic questions that lie at their heart.

研究の動機と目的

• Google の MapReduce や Apache Hadoop のような現代の分散データ処理システムの背後にある計算モデルを形式化すること。
• 現実のシステムを反映する形で、大規模で非順序的かつ分散型のデータ処理の計算複雑性を理解すること。
• ストリーミングアルゴリズムと分散非順序計算（Mud アルゴリズム）の間の正式な関係を確立すること。
• 通信計算量と下界を用いて、Mud 計算の限界を調査すること。
• Mud アルゴリズムを、より広範な種類の分散データ処理ワークロードを捉えるように一般化する可能性を調柕すること。

提案手法

• Φ が局所関数、⊕ が結合的かつ可換な集約関数、η が後処理関数である三元組 (Φ, ⊕, η) として定義される形式的な Mud アルゴリズムモデルを提唱する。
• ストリーミングアルゴリズムの非決定的シミュレーションを用いてストリームの順序を推測し、その後 Savitch の定理を適用して Mud モデル内での空間効率的な計算を達成する。
• 通信計算量の技術を用いて下界を証明し、特に対称インデックス問題（SymmetricIndex）の決定的プロトコルが Ω(n) の通信量を要することを示す。
• 近似および確率的ストリーミングアルゴリズムへの拡張を適用し、特定の拡張（例：プライベートランダムネス）が Mud モデル下で不可能であることを示す。
• 複数の正しい出力が許容される関数（indeterminate functions）をモデル化するためのクラス iMUD と iSS を導入し、厳密な包含関係 iMUD ⊂ iSS を証明する。
• 部分関数を全関数に変換するためのプロミス問題フレームワークを活用し、ストリーミングの結果を Mud モデルに移行可能であることを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ストリーミングアルゴリズムで計算可能な任意の対称関数は、空間および通信計算量が同等の条件下で Mud アルゴリズムでも計算可能か？
• RQ2 プライベートランダムネス、プロミス問題、または不定関数に拡張した場合、Mud モデルにどのような制限があるか？
• RQ3 Mud モデルが従来のストリーミング処理よりも、より効率的または実用的な計算フレームワークを提供する自然な問題は存在するか？
• RQ4 表現力およびリソース効率の観点から、Mud モデルの計算能力はストリーミングアルゴリズムと比べてどのように異なるか？
• RQ5 Mud モデルは、スケーラブルな状況下で、複数キー処理やより複雑な分散データ処理パターンをサポートするように一般化可能か？

主な発見

• 空間および通信計算量が polylog(n) のストリーミングアルゴリズムで計算可能な任意の対称関数は、同様に polylog(n) の空間および通信計算量を有する Mud アルゴリズムでも計算可能である。
• 非決定的シミュレーションと Savitch の定理を用いた証明により、ストリーミング計算と Mud 計算の同等性が確立され、Mud モデルが対称関数のストリーミング計算の能力を的確に捉えていることが示された。
• 通信計算量の下界を用いて、プライベートランダムネスや不定関数への拡張が Mud モデルでは不可能であることが証明された。
• SymmetricIndex 問題の決定的ストリーミングアルゴリズムは polylog(n) 空間で存在するが、同じ問題に対する任意の決定的通信プロトコルは Ω(n) の通信量を要するため、通信モデル内での分離が証明された。
• Mud アルゴリズムで計算可能な不定関数のクラス（iMUD）は、ストリーミングアルゴリズムで計算可能なクラス（iSS）に厳密に含まれる、すなわち iMUD ⊂ iSS が成立する。
• 結果は、現代の分散ログ処理システムの設計的直感を形式的に形式化・検証し、その計算モデルが強力であり、理論的にも裏付けられていることを示している。