[论文解读] Big Data Analytics = Machine Learning + Cloud Computing

Caesar Wu, Rajkumar Buyya+1 more|arXiv (Cornell University)|Jan 13, 2016

Big Data and Business Intelligence被引用 11

一句话总结

本文提出，通过整合机器学习（ML）与云计算（CC），可实现最佳的大数据分析（BDA），将BDA定义为ML + CC。该文认为，将ML的预测能力与CC的可扩展基础设施相结合，能够实现成本效益高、全面的分析，超越传统的3Vs，扩展至32个维度，涵盖商业智能与决策支持。

ABSTRACT

Big Data can mean different things to different people. The scale and challenges of Big Data are often described using three attributes, namely Volume, Velocity and Variety (3Vs), which only reflect some of the aspects of data. In this chapter we review historical aspects of the term "Big Data" and the associated analytics. We augment 3Vs with additional attributes of Big Data to make it more comprehensive and relevant. We show that Big Data is not just 3Vs, but 32 Vs, that is, 9 Vs covering the fundamental motivation behind Big Data, which is to incorporate Business Intelligence (BI) based on different hypothesis or statistical models so that Big Data Analytics (BDA) can enable decision makers to make useful predictions for some crucial decisions or researching results. History of Big Data has demonstrated that the most cost effective way of performing BDA is to employ Machine Learning (ML) on the Cloud Computing (CC) based infrastructure or simply, ML + CC -> BDA. This chapter is devoted to help decision makers by defining BDA as a solution and opportunity to address their business needs.

研究动机与目标

• 将大数据分析（BDA）重新定义为超越传统3Vs（体量、速度、多样性）的范畴，纳入商业智能与决策支持的附加维度。
• 确立机器学习（ML）与云计算（CC）集成是实现BDA最经济高效且可扩展的架构基础。
• 为决策者提供一个统一框架，利用CC基础设施上的ML实现预测分析与可操作的洞察。
• 将大数据的概念模型从3Vs扩展至32Vs，其中9个Vs聚焦于商业智能与假设驱动的分析。
• 将ML + CC定位为现代BDA的基础架构，支持实时、可扩展且智能的数据处理。

提出的方法

• 将大数据的传统3Vs模型扩展为涵盖9个Vs聚焦于商业智能与分析建模的综合性32-Vs框架。
• 提出机器学习（ML）是从业务数据中提取洞察的核心引擎，支持预测与模式识别。
• 将云计算（CC）定位为提供弹性、可扩展性与成本效益的基础设施层，以支持ML工作负载。
• 引入公式BDA = ML + CC，以形式化预测建模与可扩展基础设施之间的协同效应。
• 通过分析大数据演进的历史趋势，证明ML + CC范式是最有效且可持续的BDA方法。
• 将多样化数据类型与分析模型（统计模型、假设驱动模型）整合进扩展的32-Vs模型，以反映真实世界的企业需求。

实验结果

研究问题

• RQ1 如何将大数据分析重新定义为超越传统3Vs的范畴，以更好地服务于商业智能与决策制定？
• RQ2 在企业环境中，实现大数据分析最经济高效且可扩展的架构基础是什么？
• RQ3 机器学习与云计算的集成如何增强大数据工作负载中的预测能力？
• RQ4 除了3Vs之外，还需要哪些额外属性才能完整捕捉大数据分析的范围与价值？
• RQ5 ML + CC模型在多大程度上支持多样化的分析模型与假设驱动的研究？

主要发现

• 本文确立了大数据分析（BDA）的最佳实现方式是机器学习（ML）与云计算（CC）的结合，形式化为BDA = ML + CC。
• 传统3Vs模型不足以涵盖大数据的完整范围；作者将其扩展为32个维度，其中9个维度专门用于商业智能与分析建模。
• 大数据演进的历史趋势表明，基于云基础设施的机器学习是实现BDA最经济高效且可扩展的方法。
• ML与CC的集成使决策者能够生成有用的预测，并通过数据驱动的洞察支持关键业务决策。
• 该框架支持多样化的分析模型与假设检验，适用于科学研究与企业应用。
• 所提出的模型提供了一个全面且可扩展的架构，使大数据分析与真实世界的企业与研究需求保持一致。