[论文解读] Cloud based Big Data Analytics: A Survey of Current Research and Future Directions

Samiya Khan, Kashish Ara Shakil+1 more|arXiv (Cornell University)|Aug 18, 2015

Cloud Computing and Resource Management被引用 7

一句话总结

本综述探讨了基于云的大数据分析，分析了当前研究、挑战及未来方向。它识别出数据安全、可扩展性和性能等关键问题，并提出了一种将云基础设施与大数据工作负载集成的框架，以实现在大规模环境下的高效、安全和可扩展分析。

ABSTRACT

The advent of the digital age has led to a rise in different types of data with every passing day. In fact, it is expected that half of the total data will be on the cloud by 2016. This data is complex and needs to be stored, processed and analyzed for information that can be used by organizations. Cloud computing provides an apt platform for big data analytics in view of the storage and computing requirements of the latter. This makes cloud-based analytics a viable research field. However, several issues need to be addressed and risks need to be mitigated before practical applications of this synergistic model can be popularly used. This paper explores the existing research, challenges, open issues and future research direction for this field of study.

研究动机与目标

• 分析基于云的大数据分析研究现状。
• 识别云环境中数据安全、隐私和性能瓶颈等关键挑战。
• 探索云计算与大数据分析之间的协同作用，以实现可扩展的数据处理。
• 概述开放问题并提出该领域的未来研究方向。
• 全面概述该领域现有的架构、工具和平台。

提出的方法

• 对2010年至2015年期间基于云的大数据分析相关文献进行系统性综述。
• 根据数据量、数据速度和数据多样性对大数据分析工作负载进行分类。
• 分析云平台（例如AWS、云上Hadoop）及其与大数据框架的集成。
• 评估云环境中数据处理管道的安全与隐私机制。
• 识别可扩展且具备容错能力的系统架构模式与设计原则。
• 通过主题分析法综合现有研究的趋势与研究空白。

实验结果

研究问题

• RQ1 在云平台中部署大数据分析面临的主要挑战是什么？
• RQ2 当前基于云的架构在多大程度上支持大数据工作负载的可扩展性和性能需求？
• RQ3 在云中存储和处理大数据所关联的安全与隐私风险有哪些？
• RQ4 有效基于云的大数据分析的关键架构模式与设计原则是什么？
• RQ5 在云计算与大数据分析集成方面，正在出现哪些未来研究方向？

主要发现

• 到2016年，预计一半的数据将存储在云中，凸显了云基础设施在数据管理中日益增长的依赖性。
• 由于弹性资源分配和按需计算能力，云计算为大数据分析提供了可扩展且成本效益高的平台。
• 尽管具有优势，基于云的大数据分析仍面临重大挑战，包括数据安全、隐私泄露和供应商锁定问题。
• 现有研究表明，混合云模型在性能、成本和数据控制之间提供了更优的平衡。
• 目前缺乏针对多租户云环境中的数据分析管道安全的标准化框架。
• 未来研究应聚焦于提升实时处理能力、增强数据血缘追踪，并开发用于云环境分析的自动化优化技术。