[论文解读] Coordination-Avoiding Database Systems.

Peter Bailis, Alan Fekete+4 more|arXiv (Cornell University)|Feb 10, 2014

Distributed systems and fault tolerance参考文献 66被引用 13

一句话总结

本文提出不变性汇聚（invariant confluence）作为一种形式化条件，使数据库系统能够在保持应用层一致性的同时实现无协调执行。通过分析应用不变性，系统仅在必要时才避免协调，从而实现线性可扩展性——原型系统在100台服务器上实现了每秒超过一百万笔TPC-C New-Order事务的处理性能，且无协调开销。

ABSTRACT

Concurrent access to shared state results in a fundamental trade-off between coordination—surfacing in the form of reduced availabil-ity, decreased scalability, and increased latency—and application-level consistency, or semantic guarantees for end users. Traditional mechanisms such as serializable transactions are sufficient to en-sure application-level consistency but require synchronous coor-dination, while weaker mechanisms may sacrifice consistency for less coordination and greater scalability. In this paper, we identify a necessary and sufficient condition for achieving coordination-free execution without violating application-level consistency: invari-ant confluence. By explicitly considering application-level invari-ants, invariant confluence analysis allows databases to coordinate between operations only when anomalies that might violate invari-ants are possible. This provides a formal basis for coordination-avoiding database systems, which coordinate only when it is nec-essary to do so. We demonstrate the utility of invariant confluence analysis on a subset of SQL and via a coordination-avoiding proof-of-concept database prototype that scales linearly to over a million TPC-C New-Order transactions per second on 100 servers. 1.

研究动机与目标

• 解决并发数据库系统中协调开销与应用层一致性之间的根本权衡问题。
• 识别一种形式化条件，确保在所有情况下均无需协调即可保持一致性。
• 通过最小化不必要的协调，使数据库系统实现线性可扩展性。
• 为无协调系统提供基于应用层不变性的实用基础。

提出的方法

• 提出不变性汇聚作为无协调执行的必要且充分条件。
• 通过分析应用层不变性，确定何时可安全避免协调。
• 设计一个原型数据库系统，在执行层面强制实施不变性汇聚。
• 利用不变性汇聚分析指导事务调度与执行决策。
• 采用运行时机制，在允许协调前检查潜在的不变性违反。
• 将该条件应用于部分SQL操作，以确保无协调执行下的正确性。

实验结果

研究问题

• RQ1 何种形式化条件可确保在不违反应用层一致性的情况下避免协调？
• RQ2 如何利用应用不变性来判断协调是否真正必要？
• RQ3 无协调数据库系统能否在保持一致性的前提下实现线性可扩展性？
• RQ4 在实际应用中，不变性汇聚分析的性能开销如何？
• RQ5 在真实工作负载中，不变性汇聚与传统可串行化隔离机制相比表现如何？

主要发现

• 所提出的不变性汇聚条件对于无协调执行而言，既必要又充分，且不会违反应用层一致性。
• 概念验证原型在100台服务器上实现了每秒超过一百万笔TPC-C New-Order事务的处理性能，且协调开销极低。
• 通过利用不变性汇聚分析，系统在绝大多数操作中避免了协调。
• 系统在显著减少协调引起的瓶颈的同时，保持了完整的应用层一致性。
• 该方法实现了跨分布式节点的线性可扩展性，在高吞吐量场景下优于依赖协调的替代方案。
• 不变性汇聚分析能有效识别并防止原本需要协调才能避免的异常情况。