[论文解读] A survey of systems for massive stream analytics

Maninder Singh, Mohammad A. Hoque+1 more|arXiv (Cornell University)|May 29, 2016

Data Stream Mining Techniques参考文献 12被引用 14

一句话总结

本文对大规模实时数据分析的最先进流处理系统进行了全面的综述与比较分析，评估了开源系统（如 Storm、Spark Streaming、S4）和商业解决方案（如 Amazon Kinesis、IBM InfoSphere Streams）。研究识别了延迟、容错性、可扩展性和数据模型支持等方面的關鍵設計權衡，結論指出流計算對於現代大數據工作負載至關重要，特別是在需要低延遲、高吞吐量處理高速數據流的場景中。

ABSTRACT

The immense growth of data demands switching from traditional data processing solutions to systems, which can process a continuous stream of real time data. Various applications employ stream processing systems to provide solutions to emerging Big Data problems. Open-source solutions such as Storm, Spark Streaming, and S4 are the attempts to answer key stream processing questions. The recent introduction of real time stream processing commercial solutions such as Amazon Kinesis, IBM Infosphere Stream reflect industry requirements. The system and application related challenges to handle massive stream of real time data analytics are an active field of research. In this paper, we present a comparative analysis of the existing state-of-the-art stream processing solutions. We also include various application domains, which are transforming their business model to benefit from these large scale stream processing systems.

研究动机与目标

• 分析并比较现有流处理系统在处理大规模实时数据工作负载方面的能力。
• 识别在高速数据流环境下，数据采集、处理、建模和挖掘方面面临的关键系统级挑战。
• 评估主要流处理平台在编程模型、容错机制和性能特征之间的权衡。
• 探讨在线游戏、金融和智慧城市等领域的新兴应用场景，这些场景依赖于实时流分析。
• 为根据应用特定需求（如延迟、吞吐量和数据模型支持）选择最优流处理系统提供基础。

提出的方法

• 对10多个主流流处理系统进行对比分析，包括开源系统（Storm、Spark Streaming、S4）和商业系统（Amazon Kinesis、IBM InfoSphere Streams、MillWheel）。
• 根据架构、编程模型、容错性、延迟和数据持久化能力对系统进行分类。
• 评估系统组件，如消息传递机制（如 Storm 中的 ZeroMQ）、处理模型（如 Spark Streaming 中的微批处理）和容错机制（如 Storm 中的保证消息处理）。
• 从四个维度分析系统挑战：实时环境中的数据采集、数据处理、数据建模和数据挖掘。
• 研究真实世界用例，如 Supercell 利用 Amazon Kinesis 实现实时游戏分析，以及金融服务业对低延迟处理的需求。
• 将研究发现整合为基于应用特定需求（如低延迟、可扩展性和容错性）选择流处理系统的架构原则。

实验结果

研究问题

• RQ1 主流开源与商业流处理系统在架构和设计方面存在哪些关键差异？
• RQ2 像 Storm、Spark Streaming 和 S4 这样的系统在容错机制和消息传递保证方面有何不同？
• RQ3 在实时处理系统中，处理高速度、高多样性数据流的主要挑战是什么？
• RQ4 编程模型和数据模型如何影响流处理系统中的性能、延迟和可扩展性？
• RQ5 在在线游戏和金融分析等真实应用场景中，部署流处理的关键系统需求是什么？

主要发现

• Storm 提供亚秒级延迟，并通过 ZeroMQ 实现消息传递和拓扑结构，具备强容错性，支持消息的端到端保证处理。
• Spark Streaming 采用微批处理模型，支持精确一次（exactly-once）交付语义，并可与批处理和流处理工作负载集成，但延迟高于原生流处理系统。
• S4 缺乏持久状态和完整的容错能力，因此不适合有状态的、关键任务的应用。
• 商业系统如 Amazon Kinesis 和 IBM InfoSphere Streams 提供托管式、可扩展的解决方案，并具备内置的云原生实时分析集成能力，尤其适用于游戏和金融服务业。
• 本文识别出四大主要挑战：数据采集（处理速度和多样性）、数据处理（持久化存储的权衡）、数据建模（预测与事件检测）以及数据挖掘（对异构数据的动态分析）。
• 研究结论指出，流计算对于现代大数据工作负载至关重要，要求系统在低延迟、高吞吐量、容错性以及对多样化数据类型和用例的可扩展性之间实现平衡。