[论文解读] Extending Eventually Consistent Cloud Databases for Enforcing Numeric Invariants

Valter Balegas, Diogo Serra+6 more|arXiv (Cornell University)|Mar 31, 2015

Distributed systems and fault tolerance参考文献 18被引用 11

一句话总结

本文提出了一种去中心化、容错的复制数据类型——有界计数器（Bounded Counter），可在地理复制的云数据库中实现最终一致性，同时强制执行全局数值不变量（如预算限制或库存数量），且不牺牲低延迟。通过采用预扣交易（escrow transaction）原则，并在现有最终一致存储系统（如Riak）之上构建，该方法使大多数操作可本地进行，将协调机制移出关键路径，从而在性能上接近弱一致性，同时实现强不变量强制。

ABSTRACT

Geo-replicated databases often operate under the principle of eventual consistency to offer high-availability with low latency on a simple key/value store abstraction. Recently, some have adopted commutative data types to provide seamless reconciliation for special purpose data types, such as counters. Despite this, the inability to enforce numeric invariants across all replicas still remains a key shortcoming of relying on the limited guarantees of eventual consistency storage. We present a new replicated data type, called bounded counter, which adds support for numeric invariants to eventually consistent geo-replicated databases. We describe how this can be implemented on top of existing cloud stores without modifying them, using Riak as an example. Our approach adapts ideas from escrow transactions to devise a solution that is decentralized, fault-tolerant and fast. Our evaluation shows much lower latency and better scalability than the traditional approach of using strong consistency to enforce numeric invariants, thus alleviating the tension between consistency and availability.

研究动机与目标

• 解决最终一致性在地理复制数据库中强制执行全局数值不变量的局限性。
• 在不为每次操作都引入协调机制的前提下，实现强不变量强制，从而保持低延迟和高可用性。
• 设计一种去中心化、容错的解决方案，避免依赖中心化权威或主副本。
• 为现有云存储系统提供一种轻量级、通用的扩展，对底层基础设施假设极少。
• 评估客户端和服务器端中间件设计在有界计数器上的性能与可扩展性。

提出的方法

• 通过将计数器当前值与其上限之间的差值在各副本间分区，扩展预扣交易模型，实现不变量的本地强制。
• 采用去中心化、异步协议，各副本依赖本地可能过时的视图及对等交互来协调操作。
• 通过客户端库实现轻量级集成，或在分布式哈希表中部署服务端组件，以最小化底层存储操作。
• 采用写入批处理和缓存机制，提升吞吐量并减少协调开销。
• 利用现有最终一致存储系统（如Riak）中的冲突解决机制，确保并发更新的收敛性。
• 将有界计数器设计为类似CRDT的对象，支持本地操作、自动合并与不变量强制。

实验结果

研究问题

• RQ1 能否在地理复制的最终一致数据库中强制执行数值不变量，同时不牺牲低延迟操作？
• RQ2 如何将不变量强制的协调机制与操作执行的关键路径解耦？
• RQ3 在缺乏中心化权威的情况下，哪些架构模式可实现去中心化、容错的不变量强制？
• RQ4 所提方案在真实工作负载下的性能与强一致性及弱一致性相比如何？
• RQ5 该方案能否在不修改现有云存储系统的情况下，通用地部署于现有云存储系统之上？

主要发现

• 客户端中间件设计在吞吐量方面表现优异，仅带来少量延迟增加，同时保证不变量强制。
• 采用缓存和写入批处理的服务器端中间件在吞吐量上优于Riak原生的弱一致性机制，即使在高竞争环境下亦然。
• 与传统强一致性模型相比，有界计数器方法显著降低延迟并提升可扩展性，后者要求每次更新都进行协调。
• 该方案在并发更新场景下成功强制执行不变量，防止了更新丢失和违规操作。
• 该方法具有良好的可移植性，可无缝部署于现有最终一致的云数据库（如Riak）之上，对底层系统假设极少。
• 评估结果表明，系统在高竞争环境下仍能保持正确性，且性能接近原生弱一致性。