[论文解读] Flexible Paxos: Quorum intersection revisited

Heidi Howard, Dahlia Malkhi+1 more|arXiv (Cornell University)|Aug 24, 2016

Distributed systems and fault tolerance参考文献 27被引用 47

一句话总结

本文提出了灵活Paxos（FPaxos），作为Paxos共识算法的泛化，放宽了同一阶段内多数派必须相交的要求，允许第一阶段和第二阶段使用不相交的多数派，只要它们在阶段之间相交即可。主要贡献在于，这种放宽使得性能与可用性之间的权衡得到改善，例如通过减小第二阶段多数派规模来降低延迟和提升吞吐量，同时通过精心设计多数派结构保持安全性。

ABSTRACT

Distributed consensus is integral to modern distributed systems. The widely adopted Paxos algorithm uses two phases, each requiring majority agreement, to reliably reach consensus. In this paper, we demonstrate that Paxos, which lies at the foundation of many production systems, is conservative. Specifically, we observe that each of the phases of Paxos may use non-intersecting quorums. Majority quorums are not necessary as intersection is required only across phases. Using this weakening of the requirements made in the original formulation, we propose Flexible Paxos, which generalizes over the Paxos algorithm to provide flexible quorums. We show that Flexible Paxos is safe, efficient and easy to utilize in existing distributed systems. We conclude by discussing the wide reaching implications of this result. Examples include improved availability from reducing the size of second phase quorums by one when the number of acceptors is even and utilizing small disjoint phase-2 quorums to speed up the steady-state.

研究动机与目标

• 为解决传统Paxos的保守性问题，即强制要求每个阶段内多数派必须相交，即使仅阶段间相交即可保证安全性。
• 证明多数派相交仅需存在于阶段之间，而非阶段内部，从而打破Paxos中长期存在的假设。
• 通过允许更小、不相交的第二阶段多数派，实现实际性能提升，降低延迟和网络负载。
• 提供一种安全、高效且向后兼容的Paxos泛化方案，可逐步集成到现有系统中。
• 通过动态灵活的多数派选择，探索新的系统设计机会，包括网格多数派和简单多数派系统。

提出的方法

• 提出灵活Paxos（FPaxos）作为Paxos的泛化，仅要求第一阶段和第二阶段多数派之间相交，而非每个阶段内部的多数派必须相交。
• 定义多数派系统，使第一阶段和第二阶段多数派可以不相交，只要它们在阶段之间相交即可保证安全性。
• 引入“简单多数派”概念——通过增加第一阶段多数派规模来减小第二阶段多数派规模，从而在稳定状态下降低延迟。
• 使用TLA+形式规范和模型检测技术，验证在新型多数派相交规则下FPaxos的安全性。
• 设计并评估FPaxos的朴素实现，以展示其在真实工作负载中的实际优势。
• 提出动态多数派选择策略，根据系统状态和容错需求随时间调整多数派规模。

实验结果

研究问题

• RQ1 如果允许同一阶段内的多数派不相交，只要不同阶段的多数派相交，Paxos的安全性是否仍可保持？
• RQ2 在共识协议中减小第二阶段多数派规模，会带来哪些性能与可用性之间的权衡？
• RQ3 如何设计多数派系统，以在保持容错能力和安全性的同时最小化多数派规模？
• RQ4 现有基于Paxos的系统在多大程度上可以扩展FPaxos，以在不牺牲安全性的前提下提升稳定状态性能？
• RQ5 动态多数派选择策略是否可用于在生产系统中平衡可用性与性能？

主要发现

• 通过TLA+模型检测，FPaxos在形式上被证明是安全的，确认多数派相交仅需存在于阶段之间，而非阶段内部。
• 在一个10个节点的系统中，FPaxos可将第二阶段多数派规模减少至仅3个节点，从而提升延迟和吞吐量，代价是领导者恢复期间第一阶段需8个节点参与。
• 当接受者数量为偶数时，FPaxos相比传统Paxos可将第二阶段多数派规模减少一个，提升性能而不增加容错能力。
• 网格多数派系统可用于减小两个阶段的多数派规模，实现更小的多数派规模，同时保持容错能力和安全性。
• 使用不相交的第二阶段多数派可提升参与者的利用率并减少网络负载，从而提高稳定状态下的吞吐量。
• 所提出的泛化方式与现有Paxos变体正交，可集成到生产系统中，进一步提升性能与可扩展性。