[论文解读] Beyond Batch Processing: Towards Real-Time and Streaming Big Data

Saeed Shahrivari, Saeed Jalili|arXiv (Cornell University)|Mar 13, 2014

Cloud Computing and Resource Management参考文献 13被引用 7

一句话总结

本文提出从 Hadoop 的批处理模型转向实时和流式大数据处理，评估了实时和流式处理范式作为替代方案。通过实验对比了 Apache Storm 和 Spark Streaming 等系统与 Hadoop 的表现，证明在交互式和流式工作负载下，流式处理方案具有更低的延迟和更高的效率。

ABSTRACT

Today, big data is generated from many sources and there is a huge demand for storing, managing, processing, and querying on big data. The MapReduce model and its counterpart open source implementation Hadoop, has proven itself as the de facto solution to big data processing. Hadoop is inherently designed for batch and high throughput processing jobs. Although Hadoop is very suitable for batch jobs but there is an increasing demand for non-batch processes on big data like: interactive jobs, real-time queries, and big data streams. Since Hadoop is not proper for these non-batch workloads, new solutions are proposed to these new challenges. In this article, we discuss two categories of these solutions: real-time processing, and stream processing for big data. For each category, we discuss paradigms, strengths and differences to Hadoop. We also introduce some practical systems and frameworks for each category. Finally, some simple experiments are done to show effectiveness of some solutions compared to available Hadoop-based solutions.

研究动机与目标

• 应对传统批处理之外对大数据低延迟处理日益增长的需求。
• 识别 Hadoop 的 MapReduce 模型在处理实时和流式工作负载时的局限性。
• 评估并比较新兴的实时和流式处理框架作为 Hadoop 的替代方案。
• 通过实验展示流式解决方案相较于基于 Hadoop 的批处理在性能上的优势。

提出的方法

• 将大数据工作负载分类为批处理、实时处理和流式处理，以识别不同的处理需求。
• 分析 Hadoop（面向批处理）与实时/流式系统（低延迟、连续处理）之间的架构差异。
• 研究实时处理中的关键范式（例如，迭代计算）和流式处理中的关键范式（例如，持续数据流处理）。
• 回顾并对比实际框架，如 Apache Storm（流式处理）和 Spark Streaming（微批处理流式处理）与 Hadoop 的差异。
• 设计并执行简单实验，比较 Hadoop 与流式框架在端到端延迟和吞吐量方面的表现。
• 使用延迟和吞吐量指标，在相似工作负载下评估系统性能。

实验结果

研究问题

• RQ1 Hadoop 的批处理模型在支持实时和流式数据工作负载方面存在哪些关键局限性？
• RQ2 实时和流式处理范式在架构和适用场景方面与 Hadoop 的 MapReduce 有何不同？
• RQ3 在延迟和吞吐量方面，Hadoop 与现代流式框架之间的性能权衡如何？
• RQ4 像 Spark Streaming 和 Apache Storm 这类流式框架是否能在低延迟数据处理场景中超越 Hadoop？
• RQ5 对于需要实时洞察的大数据应用，采用流式系统具有哪些实际影响？

主要发现

• Hadoop 的批处理模型引入了显著的延迟，因此不适合实时或交互式数据处理。
• 实时和流式处理框架（如 Apache Storm 和 Spark Streaming）相比 Hadoop 实现了显著更低的端到端延迟。
• 实验评估证实，流式框架在持续数据处理工作负载中表现更优。
• Spark Streaming 通过微批处理实现了更高的效率，在低延迟和高吞吐量之间取得良好平衡。
• 研究结果表明，Hadoop 并非子秒级响应时间或持续数据分析工作负载的最优选择。
• 结果支持在需要实时分析的应用（如欺诈检测和监控系统）中采用流式框架。