[論文レビュー] Scalable Eventually Consistent Counters over Unreliable Networks

Paulo Sérgio Almeida, Carlos Baquero|arXiv (Cornell University)|Jul 11, 2013

Distributed systems and fault tolerance参考文献 20被引用数 5

ひとこと要約

本稿では、信頼性の低いネットワークを想定したスケーラブルで最終的に一貫性のあるCRDTベースのカウンタであるHandoff Countersを提案する。従来のCRDTでは、すべてのクライアントID（退役した者を含む）を永続的に追跡するため発生するアイデンティティの爆発問題を、ノードIDのエントリをローカライズすることで回避し、退役したノードのガベージコレクションを可能にする。プロトコル状態をCRDT状態に統合することで、AP（可用性と分割耐性）動作を実現しつつ、最終的の一貫性を保証する。このため、ウェブカウンターやソーシャルメディアの「いいね」など、大規模なグローバルレプリケートシステムに適している。

ABSTRACT

Counters are an important abstraction in distributed computing, and play a central role in large scale geo-replicated systems, counting events such as web page impressions or social network "likes". Classic distributed counters, strongly consistent, cannot be made both available and partition-tolerant, due to the CAP Theorem, being unsuitable to large scale scenarios. This paper defines Eventually Consistent Distributed Counters (ECDC) and presents an implementation of the concept, Handoff Counters, that is scalable and works over unreliable networks. By giving up the sequencer aspect of classic distributed counters, ECDC implementations can be made AP in the CAP design space, while retaining the essence of counting. Handoff Counters are the first CRDT (Conflict-free Replicated Data Type) based mechanism that overcomes the identity explosion problem in naive CRDTs, such as G-Counters (where state size is linear in the number of independent actors that ever incremented the counter), by managing identities towards avoiding global propagation and garbage collecting temporary entries. The approach used in Handoff Counters is not restricted to counters, being more generally applicable to other data types with associative and commutative operations.

研究の動機と目的

• 信頼性の低いネットワークを有する大規模なグローバルレプリケートシステムにおいて、単純なCRDTベースのカウンタのスケーラビリティの制限を解消すること。
• 可用性と分割耐性（AP）を維持しながら、最終的一貫性によって正しさを保証する分散型カウンタを設計すること。
• CRDTにおけるアイデンティティの爆発問題（すべてのクライアントID、退役した者を含む）を克服すること。
• 任意のメッセージ損失や再配列が発生しても正しさを損なわず、一時的エントリを効率的にガベージコレクションできる仕組みを実現すること。
• カウンタを超えて、結合的かつ可換な演算を伴う他のデータ型へも一般化可能なアプローチを構築すること。

提案手法

• プロトコル状態（例：ハンドオフ情報）を直接CRDT状態に埋め込むCRDTベースの設計を採用し、耐久的状態と一時的計算状態を分離する。
• クライアントごとにレベル0のエントリを設け、上位レベルでの集約を実現する階層的構造を導入することで、グローバルに可視化される識別子の数を、アクティブな参加者に限定する。
• 信頼性の低いネットワーク上での分散型ゴシッププロトコルを採用し、メッセージの重複、再配列、損失が発生しても、単調な状態の進化により正しさが保たれる。
• 耐久的状態（クラッシュ後も保持される）と一時的状態（計算に使用される）を区別することで、退役したノードのエントリを安全にガベージコレクションできる。
• マージ操作が結合的かつ可換であるように設計されており、メッセージの順序や配信タイミングに関係なく、レプリカ間で収束することが保証される。
• 原子的または一度だけのメッセージ送信に依存しないようにし、すべてのメッセージをidempotentな状態更新とみなす。古い状態バージョンは新しいものに取り込まれる。

実験結果

リサーチクエスチョン

• RQ1 単純なCRDTベースのカウンタに内在するアイデンティティの爆発問題を回避できる、スケーラブルで最終的に一貫性のあるカウンタを構築することは可能か？
• RQ2 CRDTを拡張して、信頼性の低い通信環境下でも正しさを保ちながら、退役したノードのエントリのガベージコレクションを可能にする方法は何か？
• RQ3 強いつじり性や分散トランザクションに依存せずに、カウンタでAP動作を達成することは可能か？
• RQ4 CRDTモデルを、カウンタに限らず結合的かつ可換な演算を伴う他のデータ型へ一般化することは可能か？
• RQ5 プロトコル状態をCRDT状態に統合することで、信頼性の低いネットワークにおける障害耐性とスケーラビリティを向上させることは可能か？

主な発見

• Handoff Countersは、ノードIDのエントリをローカライズすることでスケーラビリティを達成し、レベル0のエントリ数をアクティブ参加者に限定することで、グローバルな状態の肥大化を回避する。
• 通常運用時において、退役ノードからのエントリのガベージコレクションが可能であり、正しさを損なわず長期的な状態の肥大化を低減する。
• 単調な状態の進化により、任意のメッセージ損失、再配列、重複を耐性できるため、信頼性の低いネットワークでも堅牢である。
• ネットワークの分割やノード障害が発生しても、オーバーカウンティングやインクリメントの損失が発生せず、最終的一貫性を保証する。
• この設計は、カウンタに限らず、結合的かつ可換な演算を伴う他のデータ型へも一般化可能である。
• サーバベースのCRDTと比較して、障害後も1台の到達可能なサーバがあれば十分であるため、可用性が向上する。