[論文レビュー] File system on CRDT

Mehdi Ahmed-Nacer, Stéphane Martin+1 more|arXiv (Cornell University)|Jul 25, 2012

Distributed systems and fault tolerance参考文献 12被引用数 3

ひとこと要約

この論文は、楽観的レプリケートされた分散ファイルシステムにおける強い最終的整合性を保証するためのレイヤードCRDTベースのアプローチを提案する。ファイルシステムをCRDTツリーとしてモデル化し、名前衝突のための別々のレイヤーを用いることで、同時にファイルが追加された場合の自動的解決を可能にするとともに、開発者が衝突処理のポリシーを選択可能にするが、エッジケースでは名前変更や手動でのユーザー介入が発生する可能性があることの代償を伴う。

ABSTRACT

In this report we show how to manage a distributed hierarchical structure representing a file system. This structure is optimistically replicated, each user work on his local replica, and updates are sent to other replica. The different replicas eventually observe same view of file systems. At this stage, conflicts between updates are very common. We claim that conflict resolution should rely as little as possible on users. In this report we propose a simple and modular solution to resolve these problems and maintain data consistency.

研究の動機と目的

• 楽観的レプリケートされた分散ファイルシステムにおいて、同時に更新が発生する場合に生じる衝突を管理する課題に対処すること。
• CRDTとモジュラーなレイヤーを用いて衝突解決を自動化することで、ユーザーの関与を最小限に抑えること。
• 異なるタイプの衝突に対して個別に適用可能な、柔軟で拡張可能なアーキテクチャを提供すること。
• 同時に発生する可能性のある更新操作に対しても、すべてのレプリカが同じファイルシステム状態に収束することを保証すること。
• 排他ロックや中央集権的な調整を必要とせず、切断状態でも動作可能で、リアルタイムの共同作業をサポートすること。

提案手法

• ディレクトリの内容を表すセットベースのCRDTを用いて階層的CRDTツリーとしてファイルシステムをモデル化し、収束を保証すること。
• 異なるレプリカからのファイルパスを一貫性のあるグローバルビューにマッピングするための「compact」ポリシー層を導入すること。
• 名前衝突を処理するために「resolve name」レイヤーを適用し、発信元メタデータを付加した名前の変更、またはファイルタイプに特化したアルゴリズムに基づくマージを実行すること。
• 更新操作時に衝突検出をトリガーし、最終的な一貫性のあるツリー表示を維持するために、インクリメンタルまたは非インクリメンタルな計算を用いること。
• パスの適応とポリシーの適用を通じて、ステートベースおよびオペレーションベースのCRDTセマンティクスを両立させること。
• 各衝突タイプごとに、複数の衝突解決戦略（例：自動マージ、名前の変更、手動選択）から開発者が選択可能にすること。

実験結果

リサーチクエスチョン

• RQ1 楽観的レプリケーションと同時に発生する更新が存在する分散ファイルシステムは、どのようにして強い最終的整合性を維持できるか？
• RQ2 2人のユーザーが同じディレクトリに同じ名前のファイルを同時に作成した場合、どのようなメカニズムで名前衝突を自動的に解決できるか？
• RQ3 CRDTをレイヤー形式で組み合わせることで、追加/削除や名前衝突などの異なるタイプの衝突を独立して分離・管理できるか？
• RQ4 自動衝突解決とユーザーの介入を要する解決方法の間には、どのようなトレードオフが生じるか？
• RQ5 一貫性のある、ユーザーが見えるファイルシステムツリーは、局所的に更新された分岐したレプリカからどのように再構築できるか？

主な発見

• レイヤードCRDTアーキテクチャは、モジュラーな方法で衝突を分離・解決することで、レプリカ間で強い最終的整合性を成功裏に確保した。
• 「compact」ポリシーにより、更新が異なる場所から発生しても、パスを標準形に適応させることで、レプリカ間で一貫性のあるパスマッピングを実現した。
• 名前レイヤーは、同一のファイルタイプでマージ可能なコンテンツを持つファイルを自動的にマージするか、発信元メタデータを付加して名前を変更することで、同時に追加されたファイルの衝突を解決した。
• 衝突解決中にファイル名が変更される可能性があり、これは衝突解決後にユーザーが混乱を起こす要因となり、ユーザビリティのトレードオフを示している。
• システムはインクリメンタルおよび非インクリメンタルなビュー計算を両方サポートしており、パフォーマンスと整合性のトレードオフに対する柔軟性を提供した。
• 自動化にもかかわらず、一部の衝突は依然としてユーザーの入力を必要としており、自動的決定の通知をユーザーに伝えるための意識化メカニズムの必要性を示唆している。