[论文解读] CASPaxos: Replicated State Machines without logs

Denis Rystsov|arXiv (Cornell University)|Feb 20, 2018

Distributed systems and fault tolerance参考文献 9被引用 9

一句话总结

CASPaxos 是一种无领导者、无等待、线性可串行化的复制状态机协议，通过扩展 Synod 协议直接复制状态来消除日志，从而实现低延迟、高并发和改进的容错能力。它减少了写入放大和硬件开销，在 WAN 部署中原型系统表现出 47ms 的延迟，显著优于基于领导者的系统（如 Etcd 和 MongoDB）。

ABSTRACT

CASPaxos is a wait-free, linearizable, multi-writer multi-reader register in unreliable, asynchronous networks supporting arbitrary update operations including compare-and-set (CAS). The register acts as a replicated state machine providing an interface for changing its value by applying an arbitrary user-provided function (a command). Unlike Multi-Paxos and Raft which replicate the log of commands, CASPaxos replicates state, thus avoiding associated complexity, reducing write amplification, increasing concurrency of disk operations and hardware utilization. The paper describes CASPaxos, proves its safety properties and evaluates the characteristics of a CASPaxos-based prototype of key-value storage.

研究动机与目标

• 解决基于领导者的共识协议（如 Multi-Paxos 和 Raft）在复杂性和可用性方面的局限性。
• 通过消除日志复制，减少写入放大并提高磁盘 I/O 并发性。
• 在异步、不可靠网络中实现高可用性和低延迟，且无单点故障。
• 为构建分布式状态机提供一种更简单、可形式化证明正确性的替代方案，优于 Multi-Paxos 和 Raft。
• 证明直接状态复制在效率和安全性上可与基于日志的复制相媲美，并具备实际性能优势。

提出的方法

• 扩展 Synod 协议（单决议 Paxos）以直接复制状态而非日志，从而消除日志组合的需要。
• 使用比较并设置（CAS）操作作为状态更新的原子原语，支持安全的并发写入。
• 维持对称的、对等的架构，所有副本均为等价角色，避免领导者选举和单点故障。
• 允许对不同状态组件独立、无序地写入，提升磁盘 I/O 并发性和硬件利用率。
• 使用 TLA+ 进行形式化证明，并在附录中提供数学证明，以验证安全性和线性可串行化。
• 实现一个原型键值存储系统（Gryadka），以在真实 WAN 条件下评估性能和容错能力。

实验结果

研究问题

• RQ1 是否可以构建一个不维护命令日志的复制状态机，同时保持安全性和线性可串行化？
• RQ2 消除日志对分布式系统中写入放大、磁盘 I/O 并发性和硬件利用率有何影响？
• RQ3 无领导者共识协议是否能实现比 Raft 和 Multi-Paxos 等基于领导者的协议更低的延迟和更高的可用性？
• RQ4 与基于日志的复制相比，直接状态复制在地理分布部署中的性能影响如何？
• RQ5 在发生网络分区或节点故障时，无领导者设计在多大程度上提升了容错能力？

主要发现

• 在跨三个 Azure 区域的 WAN 部署中，CASPaxos 对读-修改-写操作的平均延迟为 47ms，显著低于 Etcd（679ms）和 MongoDB（1086ms）。
• 在领导者隔离期间，协议表现出优雅降级，不可用时间少于 1 秒，而基于 Raft 的系统（如 Etcd 为 1 秒，CockroachDB 为 7 秒）则表现出更长的不可用时间。
• 实现代码少于 500 行，相比 Multi-Paxos 和 Raft 的实现，复杂性显著降低。
• 由于直接状态复制，写入放大得到减少，提升了磁盘 I/O 效率和硬件利用率。
• 通过消除请求转发至中心化领导者的步骤，CASPaxos 在广域网中实现了最优提交延迟。
• 通过 TLA+ 和数学证明的形式化验证，确认了 CASPaxos 的安全性和线性可串行化，验证了其在简洁性基础上的正确性。