[论文解读] Just-Right Consistency: reconciling availability and safety

Marc Shapiro, Annette Bieniusa+3 more|arXiv (Cornell University)|Jan 19, 2018

Distributed systems and fault tolerance参考文献 22被引用 6

一句话总结

本文提出了一种名为 Just-Right Consistency 的原则性方法，通过基于应用不变量的细粒度一致性，平衡分布式应用的可用性与安全性。该方法利用 CRDT 支持 AP 兼容的不变量，以事务性因果一致性作为默认模型，并引入有界计数器数据类型及静态分析（CISE）以验证和强制执行 CAP 敏感的不变量，从而在地理分布环境中实现可扩展的、正确性保障的工业级系统。

ABSTRACT

By the CAP Theorem, a distributed data storage system can ensure either Consistency under Partition (CP) or Availability under Partition (AP), but not both. This has led to a split between CP databases, in which updates are synchronous, and AP databases, where they are asynchronous. However, there is no inherent reason to treat all updates identically: simply, the system should be as available as possible, and synchronised just enough for the application to be correct. We offer a principled Just-Right Consistency approach to designing such applications, reconciling correctness with availability and performance, based on the following insights:(i) The Conflict-Free Replicated Data Type (CRDTs) data model supports asynchronous updates in an intuitive and principled way.(ii) Invariants involving joint or mutually-ordered updates are compatible with AP and can be guaranteed by Transactional Causal Consistency, the strongest consistency model that does not compromise availability. Regarding the remaining, "CAP-sensitive" invariants:(iii) For the common pattern of Bounded Counters, we provide encapsulated data type that is proven correct and is efficient; (iv) in the general case, static analysis can identify when synchronisation is not necessary for correctness.Our Antidote cloud database system supports CRDTs, Transactional Causal Consistency and the Bounded Counter data type. Support tools help design applications by static analysis and proof of CAP-sensitive invariants. This system supports industrial-grade applications and has been tested experimentally with hundreds of servers across several geo-distributed data centres.

研究动机与目标

• 通过将一致性根据应用特定不变量进行定制，而非强制使用单体模型，解决 CAP 定理中一致性与可用性之间的权衡。
• 识别并形式化与分区下的可用性（AP）兼容的不变量模式，例如由 CRDT 和事务性因果一致性所支持的模式。
• 为常见 CAP 敏感模式（如有界计数器）提供预打包解决方案，封装必要的同步机制。
• 开发静态分析工具（CISE），验证应用不变量在 AP 语义下是否保持有效，从而减少对全局同步的需求。

提出的方法

• 使用冲突自由复制数据类型（CRDT）作为基础数据模型，支持跨副本的直观、收敛且异步的更新。
• 采用事务性因果一致性（TCC）作为最强的一致性模型，同时保持可用性，确保因果顺序的更新以一致顺序可见。
• 引入有界计数器数据类型作为安全、封装良好的 CRDT，通过仅在必要时同步来保证在 AP 条件下的正确性。
• 通过 CISE 工具进行静态分析，验证三个条件：单个操作的正确性、并发操作的收敛性，以及并发环境下的前置条件稳定性。
• 通过支持混合一致性，仅在 CAP 敏感不变量要求时启用 CP 模式事务，从而最小化性能开销。
• 将所有组件集成到 Antidote 数据库系统中，该系统原生支持 CRDT、TCC、有界计数器及 CISE 验证。

实验结果

研究问题

• RQ1 是否可以在不牺牲可用性或正确性的情况下，在 AP 系统中保留应用层不变量？
• RQ2 哪些不变量模式本质上与分区下的可用性兼容，以及如何在不使用全局同步的情况下保证其正确性？
• RQ3 如何封装常见且 CAP 敏感的模式（如有界计数器），以确保正确性同时最小化同步开销？
• RQ4 是否可以使用静态分析形式化验证应用不变量在 AP 语义下是否保持有效？若不能，哪些操作需要同步？
• RQ5 数据库系统在多大程度上可以支持一种有原则的、面向应用的一致性模型，从而避免 CP 与 AP 的二元对立？

主要发现

• CISE 静态分析工具成功识别出前置条件检查在并发更新下不稳定的情况，如在 FMKe 药物配送用例中，两个并发的 process-prescription 操作违反了不变量安全性。
• 在对冲突的 process-prescription 操作添加同步机制后，CISE 验证了不变量被成功保持，证明了该方法在检测和解决正确性问题方面的有效性。
• 有界计数器数据类型为有界计数模式提供了可证明正确、高效且封装良好的解决方案，显著减少了应用层同步的需求。
• Antidote 对事务性因果一致性（TCC）的实现是首个支持该模型的完整生产级数据库系统，能够在不阻塞可用性的情况下提供强一致性保证。
• 该系统已在多个地理分布的数据中心、数百台服务器上进行了实验验证，证明了其在工业规模下的可行性与性能表现。
• 该方法通过基于不变量形式化验证的精确同步策略，使应用能够在 AP 语义下实现正确性，既不过度也不不足——恰到好处。