[論文レビュー] The Anatomy of Big Data Computing

Raghavendra Kune, Pramod Kumar Konugurthi+3 more|arXiv (Cornell University)|Sep 4, 2015

Big Data Technologies and Applications参考文献 33被引用数 4

ひとこと要約

本論文は、スケーラビリティとパフォーマンスの課題に対処するため、クラウドインfra構造をビッグデータクラウドに統合した、ビッグデータコンピューティングの包括的で階層的な分類とアーキテクチャを提示する。コアなコンponents、技術、ワークロードを概説するとともに、分散環境におけるデータキュレーション、処理、分析に関する未解決の課題を特定し、大規模データ分析分野における将来の研究とシステム設計の基盤フレームワークを提供する。

ABSTRACT

Advances in information technology and its widespread growth in several areas of business, engineering, medical and scientific studies are resulting in information/data explosion. Knowledge discovery and decision making from such rapidly growing voluminous data is a challenging task in terms of data organization and processing, which is an emerging trend known as Big Data Computing; a new paradigm which combines large scale compute, new data intensive techniques and mathematical models to build data analytics. Big Data computing demands a huge storage and computing for data curation and processing that could be delivered from on-premise or clouds infrastructures. This paper discusses the evolution of Big Data computing, differences between traditional data warehousing and Big Data, taxonomy of Big Data computing and underpinning technologies, integrated platform of Big Data and Clouds known as Big Data Clouds, layered architecture and components of Big Data Cloud and finally discusses open technical challenges and future directions.

研究の動機と目的

• 従来のデータウェアハウスと比較したビッグデータコンピューティングの進化と特徴を分析すること。
• データタイプ、処理モデル、ワークロードを含む、ビッグデータコンピューティングの分類を定義すること。
• ビッグデータとクラウドコンピューティングを統合したプラットフォーム、すなわちビッグデータクラウドを提唱すること。
• ビッグデータクラウドのための階層的アーキテクチャモデルを提示し、コンponentsとその相互作用を明確にすること。
• スケーラブルなデータ処理と分析における、未解決の技術的課題と将来の研究方向性を特定すること。

提案手法

• 本論文は、従来のデータウェアハウスとビッグデータコンピューティングの間で比較分析を実施し、データ量、速度、多様性、処理パラダイムの違いを強調する。
• データタイプ（構造化、準構造化、非構造化）、処理モデル（バッチ、ストリーム、インタラクティブ）、ワークロード（分析、機械学習、ETL）に基づいて、ビッグデータコンピューティングの分類を提唱する。
• 本稿では、クラウドインfra構造とビッグデータ技術を統合することで、エラスティックでスケーラブルなデータ処理を可能にする、ビッグデータクラウドの概念を導入する。
• ビッグデータクラウドのための五層構造アーキテクチャを定義する：(1) データインジェクション、(2) データストレージ、(3) データ処理、(4) データ分析、(5) アプリケーションインターフェース。
• Hadoop、Spark、NoSQLデータベース、クラウドプラットフォーム（例：AWS、OpenStack）といった基盤技術を評価し、各アーキテクチャレイヤーにおける役割を分析する。
• 既存の研究と産業実務を統合して、データキュレーション、フェイルセーフ、リアルタイム処理における継続的な技術的課題を同定する。

実験結果

リサーチクエスチョン

• RQ1 データ特性と処理要件の観点から、ビッグデータコンピューティングは従来のデータウェアハウスと根本的にどのように異なるか？
• RQ2 スケーラブルなビッグデータクラウドプラットフォームを構成する主なコンponentsとアーキテクチャレイヤーは何か？
• RQ3 効率的なデータキュレーションと分析を実現するためのコア技術と数学的モデルは何か？
• RQ4 分散環境における高パフォーマンスでフェイルセーフかつリアルタイムのデータ処理を達成するうえで、主な未解決課題は何か？
• RQ5 ビッグデータとクラウドコンピューティングの統合を進めるために、今後の研究で必要な方向性は何か？

主な発見

• 本論文は、ビッグデータコンピューティングが、高容量、高速、多様性のデータを特徴とし、従来のデータウェアハウスを超える新しい処理モデルを必要とするという点を確立している。
• 提唱されたビッグデータクラウドプラットフォームは、クラウドインfra構造とビッグデータフレームワークを統合することで、動的リソース割り当てとエラスティックスケーリングを可能にする。
• 五層構造アーキテクチャは、データインジェクションからアプリケーションインターフェースへの明確な責任分担を実現し、ビッグデータシステムコンponentsを効果的に整理する。
• Hadoopはバッチ処理の基盤技術、Sparkはリアルタイム処理の基盤技術として特定され、NoSQLデータベースは柔軟なスキーマ処理を支援する。
• 未解決の課題には、効率的なデータキュレーション、分散環境におけるフェイルセーフ、ストリームワークロードの低遅延処理が含まれる。
• 本研究は、今後の進展が、データ分析パイプラインの最適化、相互運用性の向上、およびビッグデータシステムにおけるセキュリティとプライバシーの強化に注力すべきであると結論づける。