[論文レビュー] Big Data Analytics = Machine Learning + Cloud Computing

Caesar Wu, Rajkumar Buyya+1 more|arXiv (Cornell University)|Jan 13, 2016

Big Data and Business Intelligence被引用数 11

ひとこと要約

本稿では、ビッグデータ分析（BDA）が機械学習（ML）とクラウドコンピューティング（CC）の統合を通じて最も効果的に達成されると提案している。BDAをML + CCとしてフレーミングする。MLの予測能力とCCのスケーラブルなインフラの統合により、従来の3V（ボリューム、ボリューム、バリエティ）を超えた、コスト効率が良く包括的な分析が可能となり、ビジネスインテリジェンスや意思決定支援を含む32Vに拡張される。

ABSTRACT

Big Data can mean different things to different people. The scale and challenges of Big Data are often described using three attributes, namely Volume, Velocity and Variety (3Vs), which only reflect some of the aspects of data. In this chapter we review historical aspects of the term "Big Data" and the associated analytics. We augment 3Vs with additional attributes of Big Data to make it more comprehensive and relevant. We show that Big Data is not just 3Vs, but 32 Vs, that is, 9 Vs covering the fundamental motivation behind Big Data, which is to incorporate Business Intelligence (BI) based on different hypothesis or statistical models so that Big Data Analytics (BDA) can enable decision makers to make useful predictions for some crucial decisions or researching results. History of Big Data has demonstrated that the most cost effective way of performing BDA is to employ Machine Learning (ML) on the Cloud Computing (CC) based infrastructure or simply, ML + CC -> BDA. This chapter is devoted to help decision makers by defining BDA as a solution and opportunity to address their business needs.

研究の動機と目的

• 従来の3V（ボリューム、ボリューム、バリエティ）を超えて、ビジネスインテリジェンスおよび意思決定支援のための追加次元を統合することで、ビッグデータ分析（BDA）を再定義すること。
• 企業環境におけるビッグデータ分析（BDA）の最もコスト効率が良くスケーラブルなアーキテクチャ的基盤は、機械学習（ML）とクラウドコンピューティング（CC）の統合であると確立すること。
• 意思決定者に、MLをCCインフラ上で活用する統一されたフレームワークを提供し、予測分析と実行可能なインサイトを可能にすること。
• ビッグデータの概念的モデルを3Vから32Vに拡張し、ビジネスインテリジェンスおよび仮説駆動型分析に焦点を当てた9Vを含めること。
• ML + CCを現代のBDAの基盤的アーキテクチャとして位置づけ、リアルタイムでスケーラブルかつ知的なデータ処理を可能にすること。

提案手法

• 従来のビッグデータの3Vモデルを包括的な32-Vsフレームワークに拡張し、ビジネスインテリジェンスおよび分析モデリングに焦点を当てた9Vを含める。
• 機械学習（ML）がビッグデータからのインサイトを抽出するコアエンジンであると主張し、予測およびパターン認識を可能にする。
• クラウドコンピューティング（CC）を、MLワークロードに適したエラスティシティ、スケーラビリティ、コスト効率を提供する基盤レイヤーとして位置づける。
• 予測モデリングとスケーラブルなインフラの間の連携を形式化するため、方程式 BDA = ML + CC を導入する。
• ビッグデータの進化の歴史的分析を用いて、ML + CCパラダイムが最も効果的かつ持続可能なアプローチであることを正当化する。
• 統計的、仮説ベースの分析モデルを含む多様なデータタイプと分析モデルを、拡張された32-Vsモデルに統合し、実世界のビジネスニーズを反映する。

実験結果

リサーチクエスチョン

• RQ1 ビッグデータ分析は、従来の3Vを超えて、どのようにビジネスインテリジェンスおよび意思決定支援に適合させるか？
• RQ2 企業環境におけるビッグデータ分析の最もコスト効率が良くスケーラブルなアーキテクチャ的基盤は何か？
• RQ3 機械学習とクラウドコンピューティングの統合は、ビッグデータワークロードにおける予測能力をどのように向上させるか？
• RQ4 3Vを超える追加の属性は、ビッグデータ分析の範囲と価値を完全に捉えるために必要か？
• RQ5 ML + CCモデルは、ビッグデータにおける多様な分析モデルおよび仮説駆動型研究をどの程度サポートするか？

主な発見

• 本稿は、ビッグデータ分析（BDA）が機械学習（ML）とクラウドコンピューティング（CC）の組み合わせとして最も適切に実現され、BDA = ML + CC として形式化されることを確立している。
• 従来の3Vモデルではビッグデータの全範囲を捉えるには不十分であり、著者らはそれを32Vに拡張し、そのうち9Vをビジネスインテリジェンスおよび分析モデリングに割り当てている。
• ビッグデータの歴史的トレンドは、クラウドインフラ上でのMLがBDAにおける最もコスト効率が良くスケーラブルなアプローチであることを示している。
• MLとCCの統合により、意思決定者はデータドリブンなインサイトを通じて有用な予測を生成し、重要なビジネス意思決定を支援できるようになる。
• このフレームワークは多様な分析モデルおよび仮説検証をサポートし、科学的研究所および企業応用の両方に適している。
• 提案されたモデルは包括的かつ拡張可能なアーキテクチャを提供し、ビッグデータ分析を現実世界のビジネスおよび研究ニーズと一致させている。