[论文解读] Big Data: Challenges, Opportunities and Realities

Abhay Kumar Bhadani, Dhanya Jothimani|arXiv (Cornell University)|May 14, 2017

Cloud Computing and Resource Management被引用 46

一句话总结

本文探讨了物联网和Web 2.0背景下大数据的挑战、机遇与现实，分析了传统关系型数据库管理系统（RDBMS）的局限性，并评估了Hadoop和NoSQL等新兴技术在可扩展数据处理方面的表现。本文全面概述了大数据分析、工具及未来研究方向，强调了从关系型系统向分布式系统转变，以应对高吞吐量、高容量数据工作负载的趋势。

ABSTRACT

With the advent of Internet of Things (IoT) and Web 2.0 technologies, there has been a tremendous growth in the amount of data generated. This chapter emphasizes on the need for big data, technological advancements, tools and techniques being used to process big data are discussed. Technological improvements and limitations of existing storage techniques are also presented. Since, the traditional technologies like Relational Database Management System (RDBMS) have their own limitations to handle big data, new technologies have been developed to handle them and to derive useful insights. This chapter presents an overview of big data analytics, its application, advantages, and limitations. Few research issues and future directions are presented in this chapter.

研究动机与目标

• 分析由物联网和Web 2.0技术驱动的数据量增长及其对数据管理的影响。
• 识别传统关系型数据库管理系统（RDBMS）在处理大数据工作负载时的局限性。
• 评估Hadoop、NoSQL和分布式计算框架等新兴技术在大数据处理中的表现。
• 概述大数据分析，包括其应用、优势及固有挑战。
• 概述大数据研究与系统设计中的关键研究问题及未来方向。

提出的方法

• 调研大数据处理与存储领域的现有文献及技术进展。
• 将传统RDBMS与Hadoop和NoSQL数据库等现代分布式系统进行比较。
• 利用批处理和流处理技术分析数据处理流程。
• 评估大数据框架的可扩展性、容错性及性能特征。
• 根据数据摄取、存储、处理和分析中的用途对大数据工具进行分类。
• 提出大数据分析工作流与系统架构的概念框架。

实验结果

研究问题

• RQ1 管理物联网和Web 2.0产生的大数据面临的主要技术挑战是什么？
• RQ2 传统RDBMS系统为何在大数据工作负载下无法有效扩展？
• RQ3 现代大数据技术（如Hadoop和NoSQL）的关键能力与局限性是什么？
• RQ4 处理和分析大规模、高吞吐量数据最有效的工具与技术是什么？
• RQ5 哪些未来研究方向对推进大数据系统与分析至关重要？

主要发现

• 由于模式刚性与可扩展性限制，传统RDBMS系统无法有效应对大数据的体量、速度与多样性。
• Hadoop和NoSQL数据库等分布式系统为大数据工作负载提供了更优的可扩展性与容错能力。
• 大数据分析可实现实时洞察与决策支持，广泛应用于医疗、金融和社交媒体等多样化领域。
• Hadoop生态系统（如HDFS、MapReduce、Hive）在大规模数据集批处理中已成为事实上的标准。
• 尽管技术不断进步，数据质量、安全性和异构大数据平台间的互操作性仍存在挑战。
• 未来研究应聚焦于优化实时处理、降低延迟，并提升大数据系统的能效。