[论文解读] Coordination Avoidance in Database Systems (Extended Version)

Peter Bailis, Alan Fekete+4 more|arXiv (Cornell University)|Feb 10, 2014

Distributed systems and fault tolerance参考文献 78被引用 3

一句话总结

本文提出了不变量收敛性（$Ι$-收敛性）这一形式化框架，用于判断数据库操作在何种情况下可无协调执行的同时仍保持应用层不变量。通过分析外键和检查约束等完整性约束，作者表明，许多常见操作均为$Ι$-收敛性，从而在TPC-C New-Order工作负载中实现相较于可串行化执行高达25倍的性能提升，且不损害正确性。

ABSTRACT

Minimizing coordination, or blocking communication between concurrently executing operations, is key to maximizing scalability, availability, and high performance in database systems. However, uninhibited coordination-free execution can compromise application correctness, or consistency. When is coordination necessary for correctness? The classic use of serializable transactions is sufficient to maintain correctness but is not necessary for all applications, sacrificing potential scalability. In this paper, we develop a formal framework, invariant confluence, that determines whether an application requires coordination for correct execution. By operating on application-level invariants over database states (e.g., integrity constraints), invariant confluence analysis provides a necessary and sufficient condition for safe, coordination-free execution. When programmers specify their application invariants, this analysis allows databases to coordinate only when anomalies that might violate invariants are possible. We analyze the invariant confluence of common invariants and operations from real-world database systems (i.e., integrity constraints) and applications and show that many are invariant confluent and therefore achievable without coordination. We apply these results to a proof-of-concept coordination-avoiding database prototype and demonstrate sizable performance gains compared to serializable execution, notably a 25-fold improvement over prior TPC-C New-Order performance on a 200 server cluster.

研究动机与目标

• 为解决传统可串行化事务因过度协调而带来的可扩展性和可用性限制。
• 确定在何种情况下必须严格进行协调以保证应用层一致性，而非依赖保守的隔离级别。
• 形式化一个条件——$Ι$-收敛性——该条件对于安全的无协调执行而言既是必要也是充分的。
• 分析现实世界中的数据库不变量和操作，识别出哪些可无协调执行。
• 展示在原型系统中避免协调所带来的实际性能优势。

提出的方法

• 将不变量收敛性（$Ι$-收敛性）定义为一种形式化条件，确保操作并发执行时仍能保持应用不变量。
• 将数据库操作和不变量建模为数据库状态空间上的状态转移，分析并发执行是否可合并为一个有效状态。
• 将$Ι$-收敛性分析应用于常见完整性约束：外键、唯一性约束、检查约束和主键。
• 实现一个避免协调的数据库原型系统，利用$Ι$-收敛性动态判断何时需要协调。
• 利用分析结果指导无协调算法的设计，例如RAMP事务和级联删除。
• 使用TPC-C New-Order和OLTPBench工作负载对原型系统与可串行化执行进行基准测试，以衡量性能提升。

实验结果

研究问题

• RQ1 在何种情况下必须严格进行协调以维持应用层一致性？
• RQ2 我们能否形式化地判断一组操作在不协调的情况下是否可以安全执行并保持不变量？
• RQ3 哪些常见数据库约束（例如外键、唯一性约束）是$Ι$-收敛性，因而可安全地无协调执行？
• RQ4 在真实世界的OLTP工作负载中，避免协调能在多大程度上提升性能？
• RQ5 $Ι$-收敛性能否作为构建可扩展、高性能数据库系统的设计原则？

主要发现

• 许多常见数据库不变量，包括外键约束、唯一值生成和检查约束，均为$Ι$-收敛性，因此可安全地无协调执行。
• 主键约束通常不是$Ι$-收敛性，需要协调以防止冲突。
• 在200台服务器的集群中，避免协调的原型系统在TPC-C New-Order基准测试中相比可串行化执行实现了25倍的性能提升。
• $Ι$-收敛性分析正确识别出在外键约束下插入操作和级联删除可无协调执行，从而支持高效的分布式算法。
• 该框架仅在必要时才进行协调，与可串行化隔离相比显著降低了协调开销。
• 结果表明，避免协调不仅在理论上成立，而且在真实工作负载中具有实际可行性且性能极高。