[论文解读] Big Data Technology Literature Review

Michael Bar-Sinai|arXiv (Cornell University)|Jun 30, 2015

Cloud Computing and Resource Management被引用 4

一句话总结

本文献综述全面调查了大数据技术，重点聚焦于分布式存储与处理系统，如Hadoop、NoSQL数据库及流处理框架。综述概述了关键算法与系统架构，链接至开源实现，并为研究人员探索可扩展的数据管理解决方案提供了基础参考。

ABSTRACT

A short overview of various algorithms and technologies that are helpful for big data storage and manipulation. Includes pointers to papers for further reading, and, where applicable, pointers to open source projects implementing a described storage type.

研究动机与目标

• 为分布式存储与处理的新兴大数据技术提供结构化概览。
• 识别并分类与大数据工作负载相关的关键算法与系统架构。
• 引导研究人员找到基础性论文与开源实现以进一步研究。
• 通过技术映射弥合理论大数据概念与实际部署之间的差距。
• 为寻求进入不断演进的大数据生态系统的研究人员提供参考。

提出的方法

• 对分布式计算与数据库系统领域学术文献与技术设计的系统性综述。
• 将大数据技术划分为存储、处理与流处理范式三类。
• 将每项技术映射至其底层算法与架构原则。
• 为每项所审查的技术提供经典论文与开源项目参考。
• 使用11幅图表直观展示大数据流水线中的系统组件与数据流。
• 聚焦于生产就绪系统，如Hadoop、HBase、Cassandra与Spark，强调可扩展性与容错能力。

实验结果

研究问题

• RQ1 现代大数据存储与处理系统背后的核心架构模式是什么？
• RQ2 在大数据工作负载中，NoSQL数据库在设计与性能上与传统关系型数据库有何不同？
• RQ3 流处理框架的关键特征是什么，使其能够实现低延迟的实时数据分析？
• RQ4 哪些开源实现最能代表当前大数据技术的最先进水平？
• RQ5 如MapReduce与Spark等分布式计算模型如何相比单体系统提升可扩展性？

主要发现

• Hadoop MapReduce仍是批处理的基础模型，可在集群上实现容错、可扩展的数据处理。
• 如Cassandra与HBase等NoSQL数据库提供高可用性与分区容错性，适用于大规模、写入密集型工作负载。
• 如Storm与Spark Streaming等流处理框架可实现低延迟、高吞吐量的实时数据处理。
• 在Apache Spark等系统中引入内存计算显著提升了性能，优于基于磁盘的MapReduce。
• Hadoop、Cassandra与Spark等开源实现被广泛采用并持续维护，构成了现代大数据平台的基石。
• 文献综述识别出一种明确趋势：混合架构正结合批处理与流处理，以支持端到端的数据流水线。