[論文レビュー] Big Data Technology Literature Review

Michael Bar-Sinai|arXiv (Cornell University)|Jun 30, 2015

Cloud Computing and Resource Management被引用数 4

ひとこと要約

この文献レビューは、Hadoop、NoSQLデータベース、ストリーム処理フレームワークなどの分散ストレージおよび処理システムを焦点として、ビッグデータ技術の包括的かつ体系的な調査を提供する。主なアルゴリズムとアーキテクチャを概説し、オープンソース実装へのリンクを提示し、スケーラブルなデータ管理ソリューションを検討する研究者にとって基盤的な参照資料となる。

ABSTRACT

A short overview of various algorithms and technologies that are helpful for big data storage and manipulation. Includes pointers to papers for further reading, and, where applicable, pointers to open source projects implementing a described storage type.

研究の動機と目的

• 分散ストレージおよび処理を対象とした、新たなビッグデータ技術の体系的概要を提供すること。
• ビッグデータワークロードに関連する主要なアルゴリズムおよびシステムアーキテクチャを特定・分類すること。
• 研究者がさらに学習を深めるために、基礎的な論文およびオープンソース実装への道筋を示すこと。
• 技術マッピングを通じて、理論的なビッグデータの概念と実際の展開との間のギャップを埋めること。
• 進化を続けるビッグデータエコシステムへの入り口を研究者に提供するリファレンスとしての役割を果たすこと。

提案手法

• 分散コンピューティングおよびデータベースシステム分野における学術的文献および技術的設計の体系的レビュー。
• ビッグデータ技術をストレージ、処理、ストリーム処理のパラダイムに分類すること。
• 各技術がその背後にあるアルゴリズムおよびアーキテクチャ的原則とどのようにマッピングされるかを特定すること。
• 各レビュー対象技術について、代表的な論文およびオープンソースプロジェクトへの参照を含めること。
• ビッグデータパイプラインにおけるシステムコンポonentsおよびデータフローを図示するための視覚的図版（11図）の使用。
• スケーラビリティおよびフェイルセーフティに重点を置き、Hadoop、HBase、Cassandra、Spark などの生産環境向けシステムを対象とすること。

実験結果

リサーチクエスチョン

• RQ1 現代のビッグデータストレージおよび処理システムの背後にあるコアなアーキテクチャパターンは何ですか？
• RQ2 ビッグデータワークロードにおいて、従来のリレーショナルデータベースと比べてNoSQLデータベースは設計およびパフォーマンスでどのように異なりますか？
• RQ3 ストリーム処理フレームワークがリアルタイムデータ分析を可能にするために有する主な特徴は何ですか？
• RQ4 どのオープンソース実装が、ビッグデータ技術分野における最新の水準を最もよく表していますか？
• RQ5 MapReduce や Spark といった分散コンピューティングモデルは、モノリシックシステムと比べてどのようにスケーラビリティを向上させますか？

主な発見

• Hadoop MapReduce はバッチ処理の基盤的モデルであり、クラスタ全体にわたるフェイルセーフでスケーラブルなデータ処理を可能にしている。
• Cassandra や HBase といった NoSQL データベースは、高い可用性とパーティショニング耐性を備えており、大規模かつ書き込み中心のワークロードに適している。
• Storm や Spark Streaming といったストリーム処理フレームワークは、低遅延かつ高スループットのリアルタイムデータ処理を可能にしている。
• Apache Spark におけるメモリ内計算の統合は、ディスクベースの MapReduce と比べて顕著なパフォーマンス向上を実現している。
• Hadoop、Cassandra、Spark といったオープンソース実装は広く採用されており、活発にメンテナンスされており、現代のビッグデータプラットフォームの基盤を形成している。
• 文献レビューは、バッチ処理とストリーム処理を統合したハイブリッドアーキテクチャへの明確なトレンドを特定している。