[论文解读] File system on CRDT

Mehdi Ahmed-Nacer, Stéphane Martin+1 more|arXiv (Cornell University)|Jul 25, 2012

Distributed systems and fault tolerance参考文献 12被引用 3

一句话总结

本文提出一种基于分层CRDT的方法，以在乐观复制的分布式文件系统中确保强最终一致性。通过将文件系统建模为CRDT树，并使用独立的层处理冲突（特别是命名冲突），该方法可自动解决并发文件添加操作，同时允许开发者选择处理冲突的策略，尽管在边缘情况下可能导致文件名更改或需手动用户干预。

ABSTRACT

In this report we show how to manage a distributed hierarchical structure representing a file system. This structure is optimistically replicated, each user work on his local replica, and updates are sent to other replica. The different replicas eventually observe same view of file systems. At this stage, conflicts between updates are very common. We claim that conflict resolution should rely as little as possible on users. In this report we propose a simple and modular solution to resolve these problems and maintain data consistency.

研究动机与目标

• 解决在乐观复制的分布式文件系统中，由于并发更新导致冲突时，维持强最终一致性的挑战。
• 通过CRDT和模块化分层自动解决冲突，最小化用户在冲突解决中的参与。
• 提供一种灵活且可扩展的架构，使不同类型的冲突可独立应用不同的冲突解决策略。
• 确保所有副本在经历并发且可能冲突的操作后，最终收敛到相同的文件系统状态。
• 支持断开连接操作和实时协作，无需独占锁或集中式协调。

提出的方法

• 使用基于集合的CRDT将文件系统建模为分层CRDT树，以表示目录内容并确保收敛。
• 引入一种“压缩”策略层，通过路径适配将不同副本中的文件路径映射到一致的全局视图。
• 应用“解析名称”层，通过为冲突文件重命名并附加源信息，或基于文件类型特定的算法进行合并，来处理命名冲突。
• 通过增量或非增量计算维护最终的一致性树视图，冲突检测在更新操作时触发。
• 通过路径适配和策略应用，同时支持基于状态和基于操作的CRDT语义。
• 允许开发者根据冲突类型选择多种冲突解决策略（例如，自动合并、重命名、手动选择）。

实验结果

研究问题

• RQ1 在乐观复制且存在并发更新的分布式文件系统中，如何维持强最终一致性？
• RQ2 当两个用户在同一个目录中并发创建同名文件时，应采用何种机制自动解决命名冲突？
• RQ3 如何通过分层方式组合CRDT，以独立隔离和管理不同类型的冲突（例如，添加/删除冲突、命名冲突）？
• RQ4 在文件系统复制中，使用自动冲突解决与要求用户干预之间存在哪些权衡？
• RQ5 如何从存在分歧且本地更新的副本中重建一致且对用户可见的文件系统树？

主要发现

• 分层CRDT架构通过模块化方式隔离和解决冲突，成功确保了副本间的强最终一致性。
• “压缩”策略可实现跨副本的一致路径映射，即使更新来自不同位置，也能通过将路径适配为标准形式来保证一致性。
• 命名层通过自动合并兼容文件（例如，相同类型且可合并的内容）或为文件重命名并附加源信息，来解决并发文件添加问题，从而避免歧义。
• 冲突解决过程中可能出现文件名更改，这可能导致用户在冲突解决后产生困惑，表明存在可用性权衡。
• 系统支持增量和非增量视图计算，允许在性能与一致性之间灵活权衡。
• 尽管实现了自动化，部分冲突仍需用户输入，凸显了需建立意识机制，以告知用户自动决策的结果。