[论文解读] Fault Tolerance for Stream Processing Engines

Muhammad Anis Uddin Nasir|arXiv (Cornell University)|May 3, 2016

Cloud Computing and Resource Management参考文献 33被引用 5

一句话总结

本综述分析了现代分布式流处理引擎（DSPEs）如Storm、S4、Samza、Spark Streaming和MillWheel中的容错技术，将方法分类为主动复制、被动复制和上游备份。评估了这些技术对实时流处理系统中低延迟、高吞吐量和高可用性需求的影响。

ABSTRACT

Distributed Stream Processing Engines (DSPEs) target applications related to continuous computation, online machine learning and real-time query processing. DSPEs operate on high volume of data by applying lightweight operations on real-time and continuous streams. Such systems require clusters of hundreds of machine for their deployment. Streaming applications come with various requirements, i.e., low-latency, high throughput, scalability and high availability. In this survey, we study the fault tolerance problem for DSPEs. We discuss fault tolerance techniques that are used in modern stream processing engines that are Storm, S4, Samza, SparkStreaming and MillWheel. Further, we give insight on fault tolerance approaches that we categorize as active replication, passive replication and upstream backup. Finally, we discuss implications of the fault tolerance techniques for different streaming application requirements.

研究动机与目标

• 分析现代分布式流处理引擎（DSPEs）如Storm、S4、Samza、Spark Streaming和MillWheel中的容错机制。
• 识别并分类容错策略为主动复制、被动复制和上游备份。
• 评估这些容错技术对关键应用需求（如低延迟、高吞吐量、可扩展性和高可用性）的影响。
• 提供关于DSPE中可靠性、性能与资源使用之间权衡的见解。

提出的方法

• 调研并分析五种主流DSPEs（Storm、S4、Samza、Spark Streaming和MillWheel）所采用的容错技术。
• 将容错方法分类为三类：主动复制、被动复制和上游备份。
• 评估每种技术对系统性能指标（如延迟、吞吐量和故障恢复时间）的影响。
• 比较各引擎容错机制的设计选择与运行特性。
• 将容错策略映射到应用级需求，如低延迟和高可用性。
• 对流处理中一致性、性能与容错性之间的权衡进行结构化分析。

实验结果

研究问题

• RQ1 现代流处理引擎如何实现容错以确保大规模部署中的高可用性？
• RQ2 在DSPEs中，主动复制、被动复制和上游备份在特征与权衡方面有何区别？
• RQ3 容错机制如何影响实时流处理中对低延迟和高吞吐量的需求？
• RQ4 不同容错策略对系统可扩展性和资源利用率有何影响？
• RQ5 DSPE中的容错技术如何满足持续性实时数据处理工作负载的运行需求？

主要发现

• 主动复制可实现低恢复延迟，但因持续的状态同步而带来更高的资源开销。
• 被动复制通过仅维护一个活动实例来减少资源使用，但因需重放状态而导致恢复延迟较高。
• 上游备份依赖外部数据源重新处理丢失的数据，可降低系统复杂性，但会增加端到端延迟。
• 容错技术的选择显著影响系统性能，需在延迟、吞吐量和故障恢复时间之间权衡。
• 如MillWheel和Spark Streaming等DSPE使用上游备份以最小化状态管理开销，更注重简洁性和可扩展性。
• Storm和Samza采用主动复制以实现低延迟故障恢复，尽管资源成本较高，但适用于对延迟敏感的应用。