[论文解读] Big Data Computing Using Cloud-Based Technologies, Challenges and Future Perspectives

Samiya Khan, Kashish Ara Shakil+1 more|arXiv (Cornell University)|Nov 24, 2017

Big Data and Business Intelligence参考文献 16被引用 18

一句话总结

本文提出了一项关于基于云的大数据计算的全面综述，分析了现有工具、框架和数学技术在大规模数据处理中的应用。评估了云采用的可行性，识别出可扩展性和安全性等关键挑战，并提出了在分布式数据智能分析和基础设施优化方面的未来研究方向。

ABSTRACT

The excessive amounts of data generated by devices and Internet-based sources at a regular basis constitute, big data. This data can be processed and analyzed to develop useful applications for specific domains. Several mathematical and data analytics techniques have found use in this sphere. This has given rise to the development of computing models and tools for big data computing. However, the storage and processing requirements are overwhelming for traditional systems and technologies. Therefore, there is a need for infrastructures that can adjust the storage and processing capability in accordance with the changing data dimensions. Cloud Computing serves as a potential solution to this problem. However, big data computing in the cloud has its own set of challenges and research issues. This chapter surveys the big data concept, discusses the mathematical and data analytics techniques that can be used for big data and gives taxonomy of the existing tools, frameworks and platforms available for different big data computing models. Besides this, it also evaluates the viability of cloud-based big data computing, examines existing challenges and opportunities, and provides future research directions in this field.

研究动机与目标

• 分析基于云技术的大数据计算现状。
• 识别并分类云环境中用于大数据处理的现有工具、框架和平台。
• 评估云计算在处理大数据工作负载方面的可行性。
• 研究基于云的大数据系统中的主要挑战，包括性能、安全性和可扩展性。
• 提出面向分布式和云原生架构中大数据分析进步的未来研究方向。

提出的方法

• 基于其架构模型和使用场景，对现有大数据计算工具和框架进行调研与分类。
• 分析适用于大数据的数学和数据分析技术，例如机器学习和统计建模。
• 评估云基础设施在支持大数据工作负载的存储和处理动态扩展方面的能力。
• 将基于云的大数据系统中的挑战划分为技术、运营和安全三个维度。
• 提出大数据计算模型的分类体系，包括批处理、流处理和实时处理，并列出相应的云原生解决方案。
• 综合现有文献的见解，识别未来在云原生大数据分析领域中的研究空白与机遇。

实验结果

研究问题

• RQ1 哪些关键的云技术与框架支持可扩展的大数据处理？
• RQ2 数学和数据分析技术如何提升云环境中从大数据中提取价值的能力？
• RQ3 在云平台中部署大数据工作负载时面临的主要技术和运营挑战是什么？
• RQ4 云计算作为应对大数据动态存储与处理需求的解决方案，其可行性如何？
• RQ5 在基于云的大数据系统中，提升性能、安全性和效率的新兴研究方向有哪些？

主要发现

• 云计算为应对大数据的动态存储与处理需求提供了可扩展且灵活的基础设施。
• 已开发出大量工具与框架（如 Hadoop、Spark 和 Flink），以支持云环境中各种大数据计算模型。
• 基于云的大数据计算中的挑战包括数据安全、隐私保护、延迟问题以及在分布式环境中的高效资源分配。
• 将机器学习等先进分析技术与云平台集成，可实现从大规模数据中获取实时洞察与决策支持。
• 未来研究应聚焦于优化云原生架构以实现低延迟处理，加强数据治理，并提升分布式大数据流水线的容错能力。
• 目前仍迫切需要标准化的基准测试与评估框架，以比较不同基于云的大数据解决方案的性能。