[论文解读] Bipartisan Paxos: A Modular State Machine Replication Protocol

Michael Whittaker, Neil Giridharan+3 more|arXiv (Cornell University)|Feb 29, 2020

Distributed systems and fault tolerance参考文献 26被引用 4

一句话总结

Bipartisan Paxos (BPaxos) 是一种模块化、多领导者的状态机复制协议，通过解耦协议组件，实现对高吞吐量组件（如领导者和提议者）的独立扩展。通过将可扩展与不可扩展组件隔离，BPaxos 在保持协议正确性的同时，实现了约两倍于 EPaxos 的峰值吞吐量，并通过模块化正确性证明显著提升了协议简洁性。

ABSTRACT

There is no shortage of state machine replication protocols. From Generalized Paxos to EPaxos, a huge number of replication protocols have been proposed that achieve high throughput and low latency. However, these protocols all have two problems. First, they do not scale. Many protocols actually slow down when you scale them, instead of speeding up. For example, increasing the number of MultiPaxos acceptors increases quorum sizes and slows down the protocol. Second, they are too complicated. This is not a secret; state machine replication is notoriously difficult to understand. In this paper, we tackle both problems with a single solution: modularity. We present Bipartisan Paxos (BPaxos), a modular state machine replication protocol. Modularity yields high throughput via scaling. We note that while many replication protocol components do not scale, some do. By modularizing BPaxos, we are able to disentangle the two and scale the bottleneck components to increase the protocol's throughput. Modularity also yields simplicity. BPaxos is divided into a number of independent modules that can be understood and proven correct in isolation.

研究动机与目标

• 解决现有状态机复制协议（如 MultiPaxos 和 EPaxos）固有的可扩展性与复杂性问题。
• 通过独立扩展协议组件（特别是领导者和提议者）实现高吞吐量，这些组件具有明显的并行性。
• 通过将系统分解为独立且可证明正确的模块，提升协议的可理解性。
• 证明模块化设计能够同时实现性能扩展与相比紧密耦合协议更低的实现复杂度。

提出的方法

• 将状态机复制协议分解为模块化组件：领导者、提议者、接受者、副本和依赖服务。
• 将 Paxos 作为黑盒共识模块使用，以继承其安全性属性，而无需重新实现共识逻辑。
• 支持领导者和提议者的独立水平扩展，这些是主要的吞吐量瓶颈。
• 通过将客户端命令聚合为单个顶点来实现批量处理，以摊薄领导者和提议者上的开销。
• 设计协议使得副本处理更小、更批量化的图结构，从而减少拓扑排序时间并提升执行效率。
• 解耦各组件以支持独立部署与扩展，避免单体式设计（如 EPaxos）带来的性能瓶颈。

实验结果

研究问题

• RQ1 在状态机复制协议中，模块化设计是否能够在不损害正确性的前提下，实现对高吞吐量组件的独立扩展？
• RQ2 与 EPaxos 或 GPaxos 等紧密耦合协议相比，模块化分解是否能显著降低协议复杂度？
• RQ3 通过可扩展组件的部署，模块化协议是否能够实现高于当前最先进协议（如 EPaxos）的吞吐量？
• RQ4 批量处理与模块化设计如何协同作用，进一步提升吞吐量并降低延迟？
• RQ5 是否可以将如 Paxos 这类成熟协议作为模块化组件重用，以确保安全性并简化验证？

主要发现

• 通过独立扩展领导者和提议者（主要吞吐量瓶颈），BPaxos 实现了约两倍于 EPaxos 的峰值吞吐量。
• 在批量大小为 1000 的情况下，BPaxos 在理想条件下实现了约 500,000 条命令/秒的峰值吞吐量和约 200 毫秒的中位延迟。
• 模块化设计使得每个组件（如共识模块、依赖服务和副本）均可独立理解与验证，从而提升了协议的可维护性与正确性。
• BPaxos 通过多领导者架构消除了单领导者瓶颈，因此在性能上优于单领导者协议（如 MultiPaxos 和 Raft）。
• 协议的解耦设计支持高效的批量处理，使开销在领导者和提议者之间被摊薄，同时副本图处理因顶点更少、更大而加速。
• BPaxos 避免了 EPaxos 和 Caesar 中复杂的快速路径优化，降低了因细微错误（如 EPaxos 共识实现中六年后才暴露的漏洞）导致的引入风险。