[論文レビュー] The Bloom Clock.

Lum Ramabaja|arXiv (Cornell University)|May 30, 2019

Distributed systems and fault tolerance参考文献 12被引用数 5

ひとこと要約

Bloom Clock は、移動ウィンドウと設定可能なパラメータを用いることで、空間効率的かつ確率的データ構造としてベクタクロックの代替手段を提供する。これにより、高い正確性を維持しつつ、イベントの因果関係を検出するための空間複雑性を低減する。偽陰性を排除し、偽陽性率を定量的に評価することで、調整可能な信頼区間を備えた信頼性の高い部分順序が実現できる。

ABSTRACT

The bloom clock is a space-efficient, probabilistic data structure designed to determine the partial order of events in highly distributed systems. The bloom clock, like the vector clock, can autonomously detect causality violations by comparing its logical timestamps. Unlike the vector clock, the space complexity of the bloom clock does not depend on the number of nodes in a system. Instead it depends on a set of chosen parameters that determine its confidence interval, i.e. false positive rate. To reduce the space complexity from which the vector clock suffers, the bloom clock uses a 'moving window' in which the partial order of events can be inferred with high confidence. If two clocks are not comparable, the bloom clock can always deduce it, i.e. false negatives are not possible. If two clocks are comparable, the bloom clock can calculate the confidence of that statement, i.e. it can compute the false positive rate between comparable pairs of clocks. By choosing an acceptable threshold for the false positive rate, the bloom clock can properly compare the order of its timestamps, with that of other nodes in a highly accurate and space efficient way.

研究の動機と目的

• 大規模分散システムにおけるベクタクロックの高い空間複雑性を解消する。
• 多数のノードを含むシステムにおける論理的タイムスタンプのストレージオーバーヘッドを低減する。
• 最小限の偽陽性で、正確なイベント因果関係の検出を可能にする。
• イベント間の因果関係に対する信頼性を定量的に評価するメカニズムを提供する。
• ノード数の増加に伴って空間要件が増加しないように効率的にスケーリングするシステムを設計する。

提案手法

• Bloom Clock は移動ウィンドウを用いて最近のイベントに焦点を当て、すべてのノードのタイムスタンプを追跡する必要を減らす。
• 確率的データ構造（Bloom フィルタにインspired）を用いて論理的タイムスタンプをコンパクトに表現する。
• クロック間の比較は確率的である：クロックが比較不能である場合、結果は常に正しい（偽陰性なし）。
• 比較可能性の信頼性は、設定可能なパラメータによって決定される偽陽性率に基づいて計算される。
• ウィンドウサイズやハッシュ関数の数といったパラメータを調整することで、望ましい信頼区間を達成する。
• 比較可能性は、あるクロックのタイムスタンプがもう一方のクロックの因果的前件である可能性に基づいて判断される。

実験結果

リサーチクエスチョン

• RQ1 分散システムにおける論理的タイムスタンプ管理を、因果関係検出の正確性を損なわずに、より空間効率的にできるか。
• RQ2 確率的因果順序付けにおいて、空間効率性と偽陽性率のトレードオフは何か。
• RQ3 高い信頼性で因果関係の違反を検出できるか、かつ偽陰性を回避できるか。
• RQ4 ノード数の増加に伴って空間複雑性が増加しないデータ構造で、部分順関係を維持できるか。
• RQ5 分散環境において、因果関係に対する信頼性を定量的に評価し、調整可能にする方法は何か。

主な発見

• Bloom Clock は、ベクタクロックとは異なり、システム内のノード数に依存しない空間複雑性を達成する。
• 偽陰性は不可能である：2つのクロックが比較不能である場合、Bloom Clock は常にこれを正しく検出する。
• 因果関係の主張における偽陽性率は、設定可能なパラメータによって調整可能である。
• クロック間の比較可能性は、定量的な信頼水準で判断され、アプリケーション固有の調整が可能である。
• 移動ウィンドウによる最近のイベントに焦点を当てることで、Bloom Clock は因果順序の高精度を維持する。
• 確率的技術を用いることで、Bloom Clock はストレージオーバーヘッドを低減しながら、分散システムにおける信頼性の高い因果推論を保持する。