[论文解读] LogPlayer: Fault-tolerant Exactly-once Delivery using gRPC Asynchronous Streaming

Mohammad Roohitavaf, Kun Ren+2 more|arXiv (Cornell University)|Nov 25, 2019

Advanced Data Storage Technologies被引用 5

一句话总结

本文提出 LogPlayer，一种基于 gRPC 的系统，用于向后端存储分片实现容错、有序且仅一次的事务日志条目传输。它通过异步流式传输和恢复机制，确保在发生故障时仍具备持久性和正确性，实现亚毫秒级延迟，在仅一次语义下的尾部延迟性能相比 Apache Kafka 最高提升 6 倍。

ABSTRACT

In this paper, we present the design of our LogPlayer that is a component responsible for fault-tolerant delivery of transactional mutations recorded on a WAL to the backend storage shards. LogPlayer relies on gRPC for asynchronous streaming. However, the design provided in this paper can be used with other asynchronous streaming platforms. We model check the correctness of LogPlayer by TLA+. In particular, our TLA+ specification shows that LogPlayer guarantees in-order exactly-once delivery of WAL entries to the storage shards, even in the presence of shards or LogPlayer failures. Our experiments show LogPlayer is capable of efficient delivery with sub-millisecond latency, and it is significantly more efficient than Apache Kafka for designing a WAL system with exactly-once guarantee.

研究动机与目标

• 设计一种容错系统，将写前日志（WAL）中的事务性变更操作可靠地传输至分布式存储分片，实现仅一次语义。
• 通过异步流式传输确保有序交付，并具备对存储分片或 LogPlayer 自身故障的容错能力。
• 为需要仅一次交付的 WAL 系统提供一种高性能替代方案，优于现有流式平台（如 Apache Kafka）。
• 使用 TLA+ 进行形式化验证，以在实现前发现并修复设计缺陷。
• 在分布式系统（如 eBay 的 GRIT 和 JanusGraph）中实现可扩展的严格可串行化事务处理。

提出的方法

• LogPlayer 使用 gRPC 异步流式传输，通过获取器组件持续从日志服务获取 WAL 条目。
• 条目被分发至目标特定的队列，实现每个存储分片的独立处理，防止慢速目标阻塞其他目标。
• 健康监控模块检测到目标故障或断开连接时，暂停该目标的队列操作，直至恢复，并触发临时恢复流以补全丢失的条目。
• 恢复流仅重放缺失的日志范围，确保目标重启后实现幂等且有序的交付。
• 系统利用 gRPC 中的完成队列，将流式处理与网络 I/O 解耦，从而实现高吞吐量和低延迟。
• 正确性通过 TLA+ PlusCal 规范进行形式化验证，该规范建模了故障场景，并证明了有序且仅一次的交付。

实验结果

研究问题

• RQ1 基于 gRPC 的流式架构能否实现对分布式存储分片的容错、有序且仅一次的 WAL 条目交付？
• RQ2 当两者均强制实施仅一次语义时，该系统的性能与 Apache Kafka 相比如何？
• RQ3 为确保目标故障后实现幂等恢复（不重复处理或遗漏条目），需要哪些机制？
• RQ4 使用 TLA+ 进行形式化验证是否能检测并防止设计阶段的细微一致性错误？
• RQ5 系统配置（如目标数量、事务大小）对端到端延迟和可扩展性有何影响？

主要发现

• 在所有实验中，LogPlayer 的中位数和平均延迟均低于 1 毫秒，中位数和平均延迟均低于 1 毫秒。
• 对于包含 10 KB 负载体、跨 10 个分片的事务，LogPlayer 平均比启用仅一次语义的 Kafka 快 4 倍。
• 在 99% 分位数尾部延迟方面，当启用仅一次保证时，LogPlayer 的性能是 Kafka 的 6 倍。
• 系统在高负载下保持稳定，且可扩展性良好，即使目标数量增加，延迟也无显著上升。
• TLA+ 模型检查发现了初始架构中的多个设计缺陷，这些缺陷已在最终算法中修复。
• 基于 Kafka 的两层主题设计（WAL 主题 + 分片主题）因缺乏背压机制，导致延迟无界增长，因此在生产级 WAL 系统中不可行。