[論文レビュー] Pure Operation-Based Replicated Data Types

Carlos Baquero, Paulo Sérgio Almeida+1 more|arXiv (Cornell University)|Oct 12, 2017

Distributed systems and fault tolerance参考文献 19被引用数 8

ひとこと要約

この論文は、状態ベースのメタデータをメッセージから排除し、メッセージの配信を操作とそのパラメータに限定する、Pure Operation-Based Replicated Data Types (Pure op-based CRDTs) と呼ばれる新しいCRDTモデルを紹介する。因果関係と安定性情報を公開する拡張されたメッセージングミドルウェア（Tagged Causal Stable Broadcast; TCSB）に依存することで、より単純で効率的かつ意味論的に明確なop-based CRDTを実現し、PO-Logsにより非可換操作に対するコンactな状態管理を可能にする。

ABSTRACT

Distributed systems designed to serve clients across the world often make use of geo-replication to attain low latency and high availability. Conflict-free Replicated Data Types (CRDTs) allow the design of predictable multi-master replication and support eventual consistency of replicas that are allowed to transiently diverge. CRDTs come in two flavors: state-based, where a state is changed locally and shipped and merged into other replicas; operation-based, where operations are issued locally and reliably causal broadcast to all other replicas. However, the standard definition of op-based CRDTs is very encompassing, allowing even sending the full-state, and thus imposing storage and dissemination overheads as well as blurring the distinction from state-based CRDTs. We introduce pure op-based CRDTs, that can only send operations to other replicas, drawing a clear distinction from state-based ones. Data types with commutative operations can be trivially implemented as pure op-based CRDTs using standard reliable causal delivery; whereas data types having non-commutative operations are implemented using a PO-Log, a partially ordered log of operations, and making use of an extended API, i.e., a Tagged Causal Stable Broadcast (TCSB), that provides extra causality information upon delivery and later informs when delivered messages become causally stable, allowing further PO-Log compaction. The framework is illustrated by a catalog of pure op-based specifications for classic CRDTs, including counters, multi-value registers, add-wins and remove-wins sets.

研究の動機と目的

• 準備関数に状態や因果関係のメタデータを埋め込むことで、標準的なop-based CRDTでは、状態ベースのCRDTと区別がつきにくくなり、曖昧さや非効率さが生じる問題を解消する。
• メッセージに送信されるのは操作そのもの（状態を含まない）に限定することで、op-basedとstate-based CRDTの明確な分離を確立する。
• 因果関係とメッセージの安定性情報を公開する拡張されたメッセージングミドルウェア（TCSB）を活用し、CRDTにおける明示的な状態追跡の必要性を低減する。
• 可換および非可換操作を最小限のオーバーヘッドで扱える汎用的で効率的かつ合成可能なCRDT実装フレームワークを設計する。
• 一般的なデータ型（例：カウンタ、集合、レジスタ）に対する純粋なop-based CRDTのカタログを提供し、最終的一致性下での正しさと実用性を実証する。

提案手法

• prepare関数が、操作名とそのパラメータのみを返すように制限されるPure op-based CRDTを定義する。これにより、状態や因果関係のメタデータは含めない。
• 非可換CRDTの内部状態として、部分的に順序付けられたログ（PO-Log）を用いることで、因果関係の順序を保持し、並列操作の処理を可能にする。
• 各メッセージに因果関係タグと安定性通知を提供する、Tagged Causal Stable Broadcast（TCSB）というメッセージングプリミティブを導入する。これにより、PO-Logsの安全なコンパクト化が可能になる。
• 因果関係の追跡をCRDTの状態から分離し、メッセージングレイヤーに移譲することで、CRDTは操作の実行とクエリの解決に集中できる。
• 効果関数を可能な限り汎用的かつ可換に設計し、非可換効果については因果関係の順序と安定化を用いてPO-Log操作で解決する。
• 因果的安定性に基づくメッセージのコンパクト化を支援する。メッセージが因果的に安定すると、その因果関係メタデータを破棄可能となり、状態の肥大化を低減できる。

実験結果

リサーチクエスチョン

• RQ1 操作ベースのCRDTは、メッセージに状態や因果関係のメタデータを埋め込まないことで、状態ベースのCRDTと明確に区別できるように設計できるか？
• RQ2 純粋なop-based CRDTが、prepare関数に状態を含めない場合に、正しさと効率性を保つために必要なメッセージングプリミティブは何か？
• RQ3 部分的に順序付けられたログ（PO-Log）は、非可換CRDTにおける並列操作を効果的に管理できるか？ また、因果的安定性に基づくコンパクト化は効果的か？
• RQ4 TCSBプリミティブは、従来のop-basedまたはstate-basedモデルと比較して、op-based CRDTの効率性と単純さをどの程度向上できるか？
• RQ5 純粋なop-based CRDTは、集合のclear()のような複雑な操作をどのように扱い、その設計においてどのような妥当性のトレードオフが生じるか？

主な発見

• Pure op-based CRDTでは、メッセージに因果関係や状態情報を埋め込む必要がなくなるため、従来の古典的なop-based CRDTと比較して、より単純で効率的なメッセージが実現される。
• TCSBメッセージングプリミティブにより、明示的な安定性通知を伴う信頼性の高い因果的配信が可能となり、PO-Logsの安全なコンパクト化が可能になり、長期的な状態の肥大化が低減される。
• 可換操作の場合は、PO-Logを用いなくても実装可能であり、最小限のオーバーヘッドで実現され、実装が簡素化される。
• PO-Logsにより、因果関係の順序を保持し、陳腐化検出を可能にすることで、非可換操作の正しく処理が可能となり、安定化により不要な因果関係メタデータの削除が可能になる。
• 本フレームワークは、カウンタ、マルチバリュー・レジスタ、add-wins/remove-wins集合など、実用的なCRDTのカタログをサポートしており、すべてが形式的な正しさ保証を備えている。
• 本モデルにより、状態ベースと操作ベースのCRDTが明確に分離可能であることが示され、TCSBが利用可能な場合、純粋なop-based CRDTはモジュラリティが向上し、複雑さが低減される。