[論文レビュー] The Family of MapReduce and Large Scale Data Processing Systems

Sherif Sakr, Anna Liu+1 more|arXiv (Cornell University)|Feb 13, 2013

Cloud Computing and Resource Management参考文献 81被引用数 7

ひとこと要約

この論文は、MapReduceおよび大規模データ処理システムの進化とエコシステムを調査し、元々のMapReduceモデルが大規模で耐障害性のあるフレームワークの家族を生み出した仕組みを分析している。拡張機能、宣言的インターフェース、Dremel や Pregel といった分野特化型システムを検討し、MapReduceが基盤的役割を果たし続けている一方で、実世界の大規模データワークロードにおける表現力、パフォーマンス、使いやすさを満たす次世代システムの必要性を結論づけている。

ABSTRACT

In the last two decades, the continuous increase of computational power has produced an overwhelming flow of data which has called for a paradigm shift in the computing architecture and large scale data processing mechanisms. MapReduce is a simple and powerful programming model that enables easy development of scalable parallel applications to process vast amounts of data on large clusters of commodity machines. It isolates the application from the details of running a distributed program such as issues on data distribution, scheduling and fault tolerance. However, the original implementation of the MapReduce framework had some limitations that have been tackled by many research efforts in several followup works after its introduction. This article provides a comprehensive survey for a family of approaches and mechanisms of large scale data processing mechanisms that have been implemented based on the original idea of the MapReduce framework and are currently gaining a lot of momentum in both research and industrial communities. We also cover a set of introduced systems that have been implemented to provide declarative programming interfaces on top of the MapReduce framework. In addition, we review several large scale data processing systems that resemble some of the ideas of the MapReduce framework for different purposes and application scenarios. Finally, we discuss some of the future research directions for implementing the next generation of MapReduce-like solutions.

研究の動機と目的

• 元のMapReduceプログラミングモデルから発展したシステムやフレームワークを包括的に調査すること。
• 元のMapReduceフレームワークの限界を分析し、その後のシステムがそれらをどのように是正したかを検討すること。
• 低レベルのMapReduceプログラミングよりも使いやすいように抽象化された宣言的インターフェースが、データ処理をどのように容易にするかを検討すること。
• MapReduceの原則にインspiredされた分野特化型の大規模データ処理システムを検討すること。
• 次世代の大規模データシステムのための主要な研究課題と今後の研究方向性を特定すること。

提案手法

• Hadoop や商用派生製品を含む、MapReduceベースのシステムを体系的に調査すること。
• プログラミングモデル、データモデルのサポート（例：ネスト型、階層型、グラフ）および展開モデルに基づいてシステムを分類すること。
• Hadoop データ上で SQL に類似したインターフェースを提供する、AQL (ASTERIX) や Jaql といった宣言的クエリ言語を分析すること。
• Dremel（ネスト型データ向け）、Pregel（グラフ処理向け）、Storm（ストリーム処理向け）といった分野特化型システムを評価すること。
• 表現力、障害耐性、拡張性の観点から、MapReduce とその後続システムとの間のアーキテクチャ的・意味的差異をマッピングすること。
• 現在のシステムにおけるギャップ、たとえばデバッグ支援の不足、エネルギー効率、複雑なデータモデル（XML や RDF、グラフなど）への対応の限界を特定すること。

実験結果

リサーチクエスチョン

• RQ1 元のMapReduceモデルは、どのように大規模データ処理システムの家族を生み出したのか？
• RQ2 元のMapReduceフレームワークの主な限界は何か？ それらの限界が、その後のシステム開発を促した背景とは何か？
• RQ3 AQL や Jaql といった宣言的インターフェースは、低レベルのMapReduceプログラミングに比べて、どのように使いやすさを向上させたか？
• RQ4 Dremel や Pregel、Storm といった分野特化型システムは、MapReduceパラダイムをどのように拡張したり、それから逸脱したりしているか？
• RQ5 MapReduceを超えた次世代の大規模データ処理システムにおいて、重要な研究課題は何か？

主な発見

• MapReduceは大規模データ処理の基盤的モデルとして依然として根幹を成しており、Hadoop は産業界および学術界で広く採用されている。
• AQL や Jaql といった宣言的インターフェースは、低レベルのMapReduceロジックを抽象化することで、データ操作の容易さを高め、開発者の生産性を向上させている。
• Dremel や BigQuery といった分野特化型システムは、ネスト型データのインタラクティブな分析を可能にし、MapReduceのクエリ遅延および表現力の限界を克服している。
• Pregel やそのオープンソース実装（Giraph や Hama）は、BSPベースのモデルがスケーラブルなグラフ分析に有効であることを示している。
• Storm などのストリーム処理システムは、リアルタイムのデータ処理を可能にし、MapReduceのバッチ処理モデルを継続的データワークロードに拡張している。
• 進展は見られても、分散計算のデバッグ、エネルギー効率、XML や RDF、グラフといった複雑なデータモデルをMapReduceパラダイム内で効果的にサポートする課題は依然として残っている。