[論文レビュー] Big Data Computing Using Cloud-Based Technologies, Challenges and Future Perspectives

Samiya Khan, Kashish Ara Shakil+1 more|arXiv (Cornell University)|Nov 24, 2017

Big Data and Business Intelligence参考文献 16被引用数 18

ひとこと要約

本論文は、大規模データ処理のためのクラウドベースのビッグデータコンピューティングに関する包括的なサーベイを提案し、既存のツール、フレームワーク、および数学的技術を分析する。クラウド採用の実現可能性を評価し、スケーラビリティやセキュリティなどの主な課題を特定し、分散データ分析およびインfra構造最適化分野における今後の研究方向性を提示する。

ABSTRACT

The excessive amounts of data generated by devices and Internet-based sources at a regular basis constitute, big data. This data can be processed and analyzed to develop useful applications for specific domains. Several mathematical and data analytics techniques have found use in this sphere. This has given rise to the development of computing models and tools for big data computing. However, the storage and processing requirements are overwhelming for traditional systems and technologies. Therefore, there is a need for infrastructures that can adjust the storage and processing capability in accordance with the changing data dimensions. Cloud Computing serves as a potential solution to this problem. However, big data computing in the cloud has its own set of challenges and research issues. This chapter surveys the big data concept, discusses the mathematical and data analytics techniques that can be used for big data and gives taxonomy of the existing tools, frameworks and platforms available for different big data computing models. Besides this, it also evaluates the viability of cloud-based big data computing, examines existing challenges and opportunities, and provides future research directions in this field.

研究の動機と目的

• クラウドベースの技術を用いたビッグデータコンピューティングの現状を分析すること。
• クラウド環境におけるビッグデータ処理のための既存のツール、フレームワーク、プラットフォームを特定・分類すること。
• ビッグデータワークロードを処理するためのクラウドコンピューティングの実現可能性を評価すること。
• パフォーマンス、セキュリティ、スケーラビリティを含む、クラウドベースのビッグデータシステムにおける主な課題を検討すること。
• 分散およびクラウドネイティブアーキテクチャにおけるビッグデータ分析を進歩させるための今後の研究方向性を提案すること。

提案手法

• アーキテクチャモデルとユースケースに基づいて、既存のビッグデータコンピューティングツールおよびフレームワークをサーベイ・分類すること。
• 機械学習や統計モデリングなどの、ビッグデータに適用可能な数学的およびデータ分析技術を分析すること。
• ストレージおよび処理の動的スケーリングをサポートするビッグデータワークロードのためのクラウドインfraの能力を評価すること。
• 技術的、運用的、セキュリティ的側面に分類して、クラウドベースのビッグデータシステムにおける課題を整理すること。
• バッチ処理、ストリーム処理、リアルタイム処理を含むビッグデータコンピューティングモデルの分類を提示し、関連するクラウドネイティブソリューションを示すこと。
• 既存の文献からの知見を統合し、クラウドネイティブなビッグデータ分析分野における今後の研究のギャップと機会を特定すること。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルなビッグデータ処理を可能にする主要なクラウドベースの技術およびフレームワークは何ですか？
• RQ2 数学的およびデータ分析技術は、クラウド環境におけるビッグデータからの価値抽出をどのように向上させますか？
• RQ3 クラウドプラットフォームにビッグデータワークロードをデプロイする際の主な技術的および運用的課題は何ですか？
• RQ4 クラウドコンピューティングは、ビッグデータの動的ストレージおよび処理要件に対して実現可能なソリューションとしてどれほど有効ですか？
• RQ5 クラウドベースのビッグデータシステムにおけるパフォーマンス、セキュリティ、効率性を向上させるための新たな研究方向性は何か？

主な発見

• クラウドコンピューティングは、ビッグデータの動的ストレージおよび処理要件に対応するスケーラブルで柔軟なインfraを提供する。
• Hadoop、Spark、Flink などの幅広いツールおよびフレームワークが、クラウドにおけるさまざまなビッグデータコンピューティングモデルを支援するために開発されている。
• クラウドベースのビッグデータコンピューティングにおける課題には、データセキュリティ、プライバシー、レイテンシ、分散環境における効率的なリソース割り当てが含まれる。
• 機械学習などの高度な分析技術をクラウドプラットフォームと統合することで、大規模データからのリアルタイムのインサイトと意思決定が可能になる。
• 今後の研究は、低レイテンシ処理に最適化されたクラウドネイティブアーキテクチャの最適化、データガバナンスの強化、分散ビッグデータパイプラインにおけるフェイルセーフ性の向上に焦点を当てるべきである。
• 異なるクラウドベースのビッグデータソリューションのパフォーマンスを比較するための標準化されたベンチマークおよび評価フレームワークの整備が、依然として大きな課題である。