[论文解读] Lightweight Asynchronous Snapshots for Distributed Dataflows

Paris Carbone, Gyula Fóra+3 more|arXiv (Cornell University)|Jun 29, 2015

Cloud Computing and Resource Management参考文献 15被引用 53

一句话总结

本文提出异步屏障快照（Asynchronous Barrier Snapshotting, ABS），一种轻量级、非阻塞的容错状态流处理算法，适用于分布式数据流处理。ABS 通过仅在无环拓扑中持久化算子状态，并在有环拓扑中选择性地记录最少数据，最小化快照大小，实现线性可扩展性，且运行时开销可忽略不计，在吞吐量和延迟敏感的工作负载中优于同步和传统异步快照方法。

ABSTRACT

Distributed stateful stream processing enables the deployment and execution of large scale continuous computations in the cloud, targeting both low latency and high throughput. One of the most fundamental challenges of this paradigm is providing processing guarantees under potential failures. Existing approaches rely on periodic global state snapshots that can be used for failure recovery. Those approaches suffer from two main drawbacks. First, they often stall the overall computation which impacts ingestion. Second, they eagerly persist all records in transit along with the operation states which results in larger snapshots than required. In this work we propose Asynchronous Barrier Snapshotting (ABS), a lightweight algorithm suited for modern dataflow execution engines that minimises space requirements. ABS persists only operator states on acyclic execution topologies while keeping a minimal record log on cyclic dataflows. We implemented ABS on Apache Flink, a distributed analytics engine that supports stateful stream processing. Our evaluation shows that our algorithm does not have a heavy impact on the execution, maintaining linear scalability and performing well with frequent snapshots.

研究动机与目标

• 解决状态流处理系统中同步和传统异步快照方法导致的高运行时开销和过大的快照大小问题。
• 在实时、基于云的数据流系统中实现容错，同时对吞吐量和延迟的影响最小化。
• 通过避免在无环执行图中持久化传输中的记录，减少存储开销。
• 将高效快照扩展到有环数据流拓扑，仅选择性地记录必要记录以实现最小化开销。
• 在频繁快照场景下实现线性可扩展性并保持低运行时开销。

提出的方法

• 提出异步屏障快照（Asynchronous Barrier Snapshotting, ABS）算法，通过使用屏障异步触发快照，而无需暂停计算。
• 在无环拓扑中，ABS 仅捕获算子状态，省略传输中的记录，从而最小化快照大小。
• 在有环拓扑中，ABS 对图的选定部分应用下游备份，仅记录恢复所必需的记录。
• 在作业管理器上使用协调者角色（coordinator actor）将阶段屏障注入源端，并协调全局快照。
• 实现一种恢复机制，从分布式持久存储中恢复最后全局快照的状态。
• 与 Apache Flink 的 OperatorState 接口集成，以支持按键聚合和源端偏移量的检查点。

实验结果

研究问题

• RQ1 能否在不阻塞执行的前提下，使快照算法在无环数据流拓扑中实现最小快照大小？
• RQ2 如何在有环数据流图中高效计算一致的全局快照，同时显著降低存储开销？
• RQ3 与同步和传统异步方法相比，异步快照在实时流处理中的运行时影响如何？
• RQ4 所提出的算法能否在集群规模和快照频率增加时保持线性可扩展性？
• RQ5 在状态流处理中，快照开销、存储成本和恢复效率之间存在哪些权衡？

主要发现

• ABS 在基线和容错执行中均实现了线性可扩展性，在 5 到 40 个集群节点之间保持稳定的吞吐量。
• ABS 的运行时开销显著低于同步快照，尤其是在频繁快照时；后者因阻塞导致性能突增。
• 同步快照因计算暂停导致高开销，违反了延迟敏感应用的实时 SLO。
• ABS 通过避免在无环图中持久化传输中的记录，仅聚焦于算子状态，从而减少快照大小。
• 在有环拓扑中，ABS 仅记录恢复所必需的记录，显著降低存储和重处理成本。
• 评估结果表明，ABS 在保持高吞吐量的同时影响极小，适用于需要精确一次语义的生产工作负载。