[论文解读] Leaderless State-Machine Replication: Specification, Properties, Limits

Tuanir França Rezende, Pierre Sutra|arXiv (Cornell University)|Jan 1, 2020

Distributed systems and fault tolerance参考文献 18被引用 1

一句话总结

本文提出了一种无领导者状态机复制（SMR）的正式框架，识别出在实现最优延迟和负载均衡的协议中，性能与可靠性之间存在根本性权衡。证明了满足可靠性、最优延迟和负载均衡（ROLL）的协议必须遵守不等式 2F + f − 1 ≤ n，该不等式本质上导致了链式效应，从而增加了尾部延迟，解释了如 EPaxos 等系统中观察到的性能下降现象。

ABSTRACT

Modern Internet services commonly replicate critical data across several geographical locations using state-machine replication (SMR). Due to their reliance on a leader replica, classical SMR protocols offer limited scalability and availability in this setting. To solve this problem, recent protocols follow instead a leaderless approach, in which each replica is able to make progress using a quorum of its peers. In this paper, we study this new emerging class of SMR protocols and states some of their limits. We first propose a framework that captures the essence of leaderless state-machine replication (Leaderless SMR). Then, we introduce a set of desirable properties for these protocols: (R)eliability, (O)ptimal (L)atency and (L)oad Balancing. We show that protocols matching all of the ROLL properties are subject to a trade-off between performance and reliability. We also establish a lower bound on the message delay to execute a command in protocols optimal for the ROLL properties. This lower bound explains the persistent chaining effect observed in experimental results.

研究动机与目标

• 为了形式化无领导者状态机复制（SMR）协议的设计与行为，避免在地理分布系统中出现领导者瓶颈。
• 为了识别并定义一组理想的无领导者 SMR 协议属性——可靠性、最优延迟和负载均衡（ROLL）。
• 为了分析满足 ROLL 属性的协议中性能与容错能力之间的固有权衡。
• 为了使用形式化消息延迟下界，解释实验结果中观察到的持续链式效应，特别是 EPaxos 中的现象。

提出的方法

• 提出一种模块化框架，将无领导者 SMR 分解为两个核心组件：依赖发现服务（DDS）和共识服务。
• 引入‘快速路径法定人数’（大小为 n − F）的概念，使得在无冲突情况下可实现低延迟执行。
• 将 ROLL 属性定义为一组形式化的协议期望特征：可靠性、最优延迟和负载均衡。
• 推导出 ROLL 定理：2F + f − 1 ≤ n，该定理确立了协议同时满足所有 ROLL 属性的必要条件。
• 将链式效应分析为 ROLL 定理的后果，表明其在竞争场景下导致尾部延迟增加。
• 使用消息延迟的正式模型和法定人数约束，推导出 ROLL 最优协议中命令执行时间的理论下界。

实验结果

研究问题

• RQ1 哪些形式化属性定义了高质量的无领导者 SMR 协议，以及如何系统地表征它们？
• RQ2 是否可能在无领导者 SMR 中同时实现可靠性、最优延迟和负载均衡，若可能，其约束条件是什么？
• RQ3 哪些根本性权衡限制了满足 ROLL 属性的无领导者 SMR 协议的性能？
• RQ4 为何如 EPaxos 这类协议在冲突率上升时表现出高尾部延迟，且能否对此进行形式化解释？
• RQ5 ROLL 最优无领导者 SMR 协议的消息延迟理论下界是什么？

主要发现

• ROLL 定理表明，任何实现可靠性、最优延迟和负载均衡的无领导者 SMR 协议都必须满足 2F + f − 1 ≤ n，其中 n 为副本总数，f 为可容忍的最大故障数，F 为快速路径法定人数大小。
• 满足 ROLL 最优性的协议——即在 ROLL 定理下 F 和 f 无法进一步优化的协议——必然遭受链式效应，导致尾部延迟增加。
• 链式效应的产生是因为冲突命令必须通过依赖链顺序排序，即使在无网络延迟的情况下也是如此。
• ROLL 最优协议的消息延迟理论下界在最坏情况下为四个消息延迟，与 EPaxos 在高冲突率下的实际行为完全一致。
• EPaxos 在冲突率上升时的性能下降可由该链式效应解释，而不仅仅由网络延迟引起。
• Mencius 由于未实现 ROLL 属性，避免了该链式效应，因此表现出更低的尾部延迟，验证了该理论。