[论文解读] Keyspace: A Consistently Replicated, Highly-Available Key-Value Store

Márton Trencséni, Attila Gazsó|arXiv (Cornell University)|Sep 18, 2012

Distributed systems and fault tolerance参考文献 4被引用 5

一句话总结

Keyspace 是一个分布式、强一致性且高可用的键值存储系统，使用 Paxos 共识算法确保所有节点维持相同的数据状态。它通过要求大多数节点保持在线并连接来实现容错和高可用性，并通过命令打包和提交链等优化技术提升性能，在实际应用中可支持每秒约 100,000 个操作。

ABSTRACT

This paper describes the design and architecture of Keyspace, a distributed key-value store offering strong consistency, fault-tolerance and high availability. The source code is available under the open-source AGPL license for Linux, Windows and BSD-like platforms. As of 2012, Keyspace is no longer undergoing active development.

研究动机与目标

• 设计一种分布式键值存储系统，即使在网络故障和节点崩溃的情况下也能保证节点间强一致性。
• 通过确保多数节点保持功能正常来实现高可用性，使系统在多数节点正常运行时仍能持续运作。
• 针对常见网络问题（如消息丢失、消息重排序和网络分区）实现容错能力。
• 通过一致复制机制抽象分布式系统挑战，从而最小化客户端复杂性。
• 通过命令打包、Multi-Paxos 和提交链等技术优化性能，同时不牺牲一致性。

提出的方法

• 使用 Paxos 共识算法以相同顺序在各节点间复制写入命令，确保所有节点维持相同状态。
• 采用主从复制模型，仅由主节点处理安全读取和写入操作，以保证一致性。
• 实现两种追赶机制：通过日志获取实现短期延迟追赶，通过从主节点完整复制数据库实现长期延迟追赶。
• 使用异步 I/O（epoll、kqueue 或完成端口）高效处理高吞吐量网络操作。
• 应用命令打包技术，通过将多个客户端操作批量合并为单个 Paxos 轮次，减少网络往返次数。
• 使用提交链技术，将磁盘同步延迟至下一个 Paxos 轮次，从而在保持强一致性的同时降低 I/O 开销。

实验结果

研究问题

• RQ1 在真实网络故障（如消息丢失和网络分区）下，如何保证分布式键值存储系统维持强一致性？
• RQ2 系统的规模和配置应如何设计，才能在确保容错性的同时最大化系统存活概率？
• RQ3 如何在不牺牲一致性的前提下最小化强一致性分布式系统中的网络和磁盘 I/O 开销？
• RQ4 在复制键值存储系统中，一致性、可用性和性能之间存在哪些权衡？
• RQ5 如何使曾宕机或断连的节点以最少的管理员干预快速恢复至系统当前状态？

主要发现

• Keyspace 通过确保所有写操作在多数节点上提交后才返回成功，从而保证强一致性。
• 在假设节点可用率为 95% 的前提下，3 节点集群的系统存活概率为 99.27%，5 节点集群为 99.88%。
• 由于磁盘同步延迟，复制写入吞吐量在约 12 MB/sec 后趋于饱和，当写入数据大于约 1000 字节时性能开始下降。
• 单客户端读取吞吐量在单服务器和复制部署环境下保持不变，因为主节点独立处理所有安全读取操作，无需与其他节点通信。
• 命令打包和提交链显著减少了网络往返次数和磁盘 I/O，提升了整体吞吐量和效率。
• 在默认配置下，系统可支持每秒约 100,000 个操作，性能取决于硬件、缓存大小和数据访问模式。