[论文解读] CRDTs: Consistency without concurrency control

Mihai Leţia, Nuno Preguiça+1 more|ArXiv.org|Jul 6, 2009

Distributed systems and fault tolerance参考文献 13被引用 36

一句话总结

本文提出CRDT（可交换复制数据类型）作为传统并发控制在分布式系统中的可扩展替代方案，实现无需共识的最终一致性。它提出了Treedoc，一种用于并发文档编辑的实用CRDT，利用命名树确保操作可交换性、标识符紧凑性以及高效的因果排序，在大规模、动态环境中实现高性能和可扩展性，同时协调开销极低。

ABSTRACT

A CRDT is a data type whose operations commute when they are concurrent. Replicas of a CRDT eventually converge without any complex concurrency control. As an existence proof, we exhibit a non-trivial CRDT: a shared edit buffer called Treedoc. We outline the design, implementation and performance of Treedoc. We discuss how the CRDT concept can be generalised, and its limitations.

研究动机与目标

• 解决大规模分布式系统中可变共享数据的可扩展性与一致性挑战。
• 消除在复制数据类型中对复杂并发控制机制（如共识或向量时钟）的需求。
• 设计一种实用、高效且可扩展的CRDT，支持有序序列中的并发插入与删除操作。
• 克服CRDT中标识符无限膨胀、数据结构膨胀和垃圾回收等实际限制。
• 证明CRDT可在真实系统（如协同编辑）中应用，其性能可与生产系统相媲美。

提出的方法

• 设计一种用于有序集合的CRDT抽象，支持按位置插入和删除操作，使用唯一且稳定的标识符。
• 利用命名树结构为原子对象分配紧凑且全局唯一的标识符，确保跨副本的操作可交换性。
• 采用两层架构：核心节点维护全局状态，星云节点处理本地更新并通过可靠广播协议传播。
• 应用树重构算法，在需要时将子树转换为主要节点，以保持操作的可交换性。
• 仅对最终树中的黑色节点和墓碑节点生成更新操作（插入/删除），确保操作的幂等性和可交换性传播。
• 通过树结构隐式编码因果顺序，避免对精确向量时钟的依赖，实现可扩展的近似因果追踪。

实验结果

研究问题

• RQ1 能否设计出一种非平凡、实用且高效的CRDT，用于有序序列的并发编辑？
• RQ2 在具有动态、可变数量可写副本的系统中，如何实现CRDT的可扩展性？
• RQ3 在不依赖共识或向量时钟的前提下，应采用何种机制确保操作的可交换性？
• RQ4 如何在保持正确性的同时最小化CRDT中的标识符大小和数据结构膨胀？
• RQ5 能否将垃圾回收与应用更新的关键路径解耦？

主要发现

• Treedoc成功实现了用于并发文档编辑的CRDT，确保在无共识或复杂冲突解决机制下，副本间最终收敛。
• 使用命名树可生成紧凑且全局唯一的标识符，即使在扁平化操作后仍保持稳定，防止标识符爆炸。
• 树重构以保持可交换性的方式执行，支持动态扩展而不破坏一致性。
• 因果顺序通过树结构隐式编码，减少对昂贵向量时钟的依赖，实现可扩展的近似追踪。
• 垃圾回收是可行且非阻塞的，因其在应用更新的关键路径之外运行，尽管需要共识机制。
• 基于Wikipedia追踪的性能评估表明，Treedoc具有良好的可扩展性，并在高更新负载下性能可与生产系统相媲美。