[論文レビュー] An optimized conflict-free replicated set

Annette Bieniusa, Marek Zawirski+5 more|arXiv (Cornell University)|Oct 11, 2012

Distributed systems and fault tolerance参考文献 2被引用数 32

ひとこと要約

この論文では、因果的依存関係をベクトルクロックで追跡し、繰り返しの追加を統合することで、トゥームストーンを排除しメタデータの肥大化を低減する最適化された排他性保証されたセット（Opt-OR-Set）を提案する。この手法により、強力な最終的整合性（Strong Eventual Consistency）を確保しつつ、O(|elements| + n)のペイロードサイズを達成し、元のOR-Setに比べてスケーラビリティが著しく向上する。並列更新およびマージ操作下でも正しく動作する。

ABSTRACT

Eventual consistency of replicated data supports concurrent updates, reduces latency and improves fault tolerance, but forgoes strong consistency. Accordingly, several cloud computing platforms implement eventually-consistent data types. The set is a widespread and useful abstraction, and many replicated set designs have been proposed. We present a reasoning abstraction, permutation equivalence, that systematizes the characterization of the expected concurrency semantics of concurrent types. Under this framework we present one of the existing conflict-free replicated data types, Observed-Remove Set. Furthermore, in order to decrease the size of meta-data, we propose a new optimization to avoid tombstones. This approach that can be transposed to other data types, such as maps, graphs or sequences.

研究の動機と目的

• 元のOR-Set CRDTのスケーラビリティの制限を解消すること。これは、トゥームストーンと繰り返しの追加によるメタデータの肥大化に起因する。
• 最終的整合性を有する分散システムにおける排他性保証されたセットの効率を向上させること。
• 置換同値性に基づく形式的枠組みを提供し、複製データ型の並列的意味論を考察すること。
• 効率的な状態ベースのマージと永続的トゥームストーンのない安全な削除をサポートする新しいCRDTを設計すること。
• この最適化をマップ、シーケンス、グラフなどの他のCRDTへ一般化すること。

提案手法

• 各レプリカが各ソースレプリカから観測した一意の識別子の数を追跡するためのベクトルクロックメカニズムを導入する。
• 各追加操作に一意の識別子 (c, i) を使用する。ここで、c はローカルカウンター、i はソースレプリカIDである。
• 削除操作は、ペア (e, n) がベクトル v に存在しない場合、直ちに破棄することで、トゥームストーンの永続化を回避する。
• マージ戦略では、ベクトル情報を使って、要素がローカルペイロードに存在するか、またはリモートペイロードで最近削除されたかを確認する。
• 各 (要素, ソース) 組に対して最新の識別子のみを保持し、古いものを破棄することで、繰り返しの追加を統合する。
• 正しく動作させるために更新の因果的配信に依存するが、バージョンベクトルに例外を適用することで、順序が入れ替わった配信に対しても拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 排他性保証されたセットにおいて、整合性を損なわずに永続的トゥームストーンを排除する方法は何か？
• RQ2 並列更新下でレプリカのマージを正しく保証するために必要な最小限のメタデータオーバーヘッドは何か？
• RQ3 同じ要素の複数回の追加を統合することで、CRDTにおける状態の肥大化を低減できるか？
• RQ4 置換同値性を用いて、複製されたセットにおける並列操作の意味論を形式的に特徴づける方法は何か？
• RQ5 Opt-OR-Setにおける最適化は、マップやグラフなどの他のCRDTへどの程度一般化できるか？

主な発見

• Opt-OR-Setは、ペイロードサイズを O(|elements| + n) に低減し、|elements| が存在する要素の数、n がレプリカ数である。これは元のOR-Setに比べて著しく向上している。
• 削除メカニズムは、ベクトルクロックを用いてマージ時に因果的履歴を推定することで、トゥームストーンを即座に破棄することで、トゥームストーンを排除する。
• ベクトル情報を使って、リモートレプリカで最近削除された要素かどうかを判断することで、安全な状態ベースのマージを実現する。
• 各 (要素, ソース) 組に対して最新の識別子のみを保持することで、繰り返しの追加を統合し、メタデータの増加を低減し、メモリ効率を向上させる。
• 強力な最終的整合性を維持し、因果的配信下で正しく動作する。また、シーケンスやグラフなどの他のCRDTへへの一般化の道筋も示している。
• 最適化は置換同値性の原則に基づいて形式的に裏付けられており、並列実行が順序付きの意味論と期待通りに振る舞うことを保証する。